`
学会做人
  • 浏览: 120996 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

导入导出1000万条数据

阅读更多

如何导入导出大数据量(1000万条)的表(如t_employee)+++++++++++++++++++++++
步骤:
1、从数据库1中导出数据
2、使用delete删除数据2中相同表的所有数据。
3、导入。
思考:以上步骤对吗?
分析:错误有2。
1、不应该使用delete删除大量数据。
2、在数据导入时,数据库系统将会同时维护索引。所以效率会很低。
正确的做法是:
1、从数据库1中导出
2、删除数据库2中对应表中的所有索引对象
3、使用truncate命令清除该表的所有数据
4、导入(此时数据库不会再维护索引,效率最高)
5、重建相关索引(使用脚本)
注意:此项操作带有一定的技巧,可作为工作经验在面试时使用。

 

 

1、清空数据库的表:

delete 删除的话,要写日志和维护索引,删除工作量大,而且数据所占空间并未释放!(高手可以日志恢复)

truncate 直接从磁盘上清除数据,不写日志,不维护索引,所以快!

步骤:删除索引,避免索引维护;truncate避免日志(禁止触发器)

 

2、导入数据

最快  oracle derict path

一般用imp导入,导入以后要重建索引(没有索引,导入时,不需要维护索引,效率很高)。

 


演示:Oracle常见数据导入导出
两种格式:二进制格式(在系统上线后常用)
         脚本格式(开发中常用)

1、利用Oracle的exp和imp导出数据
  导出:exp 用户名/密码@[连接名] file=xxx
  导入:imp 用户名/密码@[连接名] file=xxx

2、利用PL/SQL导出
   导出:先导出所有对象的创建脚本1
        再导出所有表格数据脚本2
   导入:在命令窗口中先执行脚本1,再执行脚本2

说明:在导入以后,通常都有些对象(如触发器)都需要重新编译(可用代码编译,也可以手工编译)

分享到:
评论

相关推荐

    java 对Redis的导入和导出

    为了提高数据导入导出的效率,可以使用批量操作,如`mset()`和`hmset()`,或者在处理大量数据时开启管道(Pipeline)模式。 5. **安全考虑**: 在实际操作中,应避免在生产环境中直接使用`keys(*)`命令,因为它可能...

    plsql大数据量导出工具

    在Oracle数据库环境中,处理大数据量的表数据导出是一项挑战,特别是当数据达到百万或千万级别时。"plsql大数据量导出工具"是专为解决这类问题而设计的工具,它能有效地从Oracle数据库中导出大规模数据,并将其保存...

    Oracle大数据量导入(CSV导入)

    虽然Data Pump主要用于数据库级别的导出和导入,但也可以通过自定义导出模式来处理特定表或对象的数据。在某些场景下,Data Pump可以与外部表结合,为CSV文件导入提供解决方案。 5. **平行加载(Parallel Loading)*...

    Excel超级列表框快速导入导出

    - 对于大量数据(如1万条),Excel的导入导出速度非常快,大约只需1秒左右。这得益于Excel内置的优化算法。 - 保持数据源简洁,避免不必要的公式和链接,可以进一步提高性能。 - 使用数据验证和条件格式化,可以提升...

    excel导入大数据失败解决方法

    例如,Apache Commons CSV库和OpenCSV都是广泛使用的库,它们提供API来读取、写入CSV文件,可以方便地进行大数据导入和导出操作。下面是一个使用Apache Commons CSV库将Excel文件转换为CSV的基本步骤: 1. 添加依赖...

    java excel 100万导出

    Java Excel 100万数据导出是一项常见的需求,在大数据处理中经常遇到。Apache POI 是一个流行的Java库,用于处理Microsoft Office格式的文件,包括Excel。本示例重点介绍了如何利用POI库高效地导出包含大量数据的...

    通过EasyExcel+线程池实现百万级数据从Excel导入到数据库

    每读取到一行数据会先做数据校验,如果校验通过后就会放到缓存集合中,List数量积累到1000时就会通过Mybatis的批量操作进行数据插入。doAfterAllAnalysed方法会在读取Excel完成后进行调用。 通过以上步骤,可以利用...

    Java实现excel大数据量导入

    Java实现Excel大数据量导入是一项常见的任务,特别是在处理企业级数据导入导出时。Apache POI 是Java中广泛使用的库,用于处理Microsoft Office格式的文件,包括Excel。然而,当涉及大量数据时,直接使用POI的用户...

    直接使用SQL语句读取Excel表格内容,把表中内容导入数据库中

    BCP(Bulk Copy Program)是SQL Server的一个实用程序,用于快速批量导入导出数据。使用BCP命令,你可以将Excel数据导入到SQL Server数据库中: ```sql EXEC master..xp_cmdshell 'bcp "SELECT * FROM YourTable" ...

    Java使用POI导出大数据量Excel的方法

    在Java开发中,导出大数据量的Excel文件可能会面临内存溢出的问题,特别是在使用Apache POI库时。这是因为默认情况下,POI会将整个Excel工作簿存储在内存中,当数据量过大时,内存消耗非常显著,可能导致系统崩溃。...

    excel:php excel 导入导出

    // 读完后会自动释放内存// 10万条数据 一次1000条 读一次要4秒, 14MB内存 全部读完要7分钟, 总消耗内存在40MB左右// 10万条数据 一次3000条 读一次5秒 14MB $filename = "./output/quick100000.xlsx";$debug = []...

    实验四 存储过程、触发器与索引

    实验四 存储过程、触发器与索引 一、实验目的 1.熟悉大型数据库实验环境,以MS SQL SERVER为例; 2.掌握视图; 3.掌握存储过程与...可以尝试将100万行记录扩展为1000万行,然后再做索引和查询的实验?文件见附件。

    poi 3.17 上传下载Excel ajax + spingmvc 弹出弹窗

    spingmvc 弹出弹窗" 涉及到的是一个Web应用开发中的功能模块,它使用了Apache POI 3.17版本来处理Excel文件,同时结合了Ajax、SpringMVC框架以及弹窗技术,实现了高效的数据导入导出功能。以下是对这些技术点的详细...

    MATLAB和数据分析讲座课件.pdf

    通过交互式的数据导入/导出,以及在数据集上执行的统计数据分析和可视化,用户可以有效地对数据进行探索和分析。MATLAB中的数据可视化功能允许用户通过图形界面快速直观地理解数据趋势和模式。更重要的是,用户可以...

    界址点标准格式转换器(国土用地报备坐标转换).rar

    2、运行section,打开范围线文件(或直接打开mapgis工程文件,将线文件设置为编辑状态),点击1辅助工具-导入导出功能-导出线拐点坐标(TXT),并保存拐点坐标。此处需注意的是,请留意section程序下方状态栏,实际...

    县级医院AO审计案例知识.pdf

    由于医院业务数据量高达近400万条记录,AO无法处理该数据,因此采用财务数据及文档整理在AO中分析整理、业务数据在SQLSERVER中分析整理的办法。 六、项目最终结果 通过本次审计共查出自立项目收费、超标准收费、...

    NF2011型人脸识别身份验证管理系统[汇编].pdf

    此外,它还支持多种考勤记录存储容量,最大可达1000万条。 总之,NF2011型人脸识别身份验证管理系统是一款集高效、稳定、易用和安全于一身的考勤门禁产品,尤其适用于企业、事业单位等需要精确考勤管理的场所。作为...

    Oracle分区技术.pdf

    - 表的大小:大表通常受益于分区,特别是超过1.5GB到2GB的表或OLTP系统中的记录超过1000万的表。 - 数据访问模式:如果大部分查询仅涉及表的少量数据,分区可以减少无关数据的扫描。 - 数据维护:按时间范围频繁删除...

    Office技巧1000例

    同时,提供的"分享家—数十万份试卷、资料、电子书下载.url"链接可能指向一个资源丰富的平台,提供更多学习材料和实践案例,进一步提升Office技能。通过深入学习和实践,用户可以充分利用Office的强大功能,提高工作...

    CSV表格拆分,可以把一个CSV文件按固定行数拆分成多个文件

    3. **兼容性**:大多数数据分析软件如Excel、LibreOffice Calc、Google Sheets等都支持CSV文件导入和导出。 4. **简单结构**:仅由逗号分隔的值组成,无需复杂解析。 ### CSV拆分的用途 1. **数据管理**:大型CSV...

Global site tag (gtag.js) - Google Analytics