`

oracle 高效插入大量数据

 
阅读更多
  在很多时候,我们会需要对一个表进行插入大量的数据,并且希望在尽可能短的时间内完成该工作,这里,和大家分享下我平时在做大量数据insert的一些经验。
  前提:在做insert数据之前,如果是非生产环境,请将表的索引和约束去掉,待insert完成后再建索引和约束。
  insert into tab1 select * from tab2; commit;
  这是最基础的insert语句,我们把tab2表中的数据insert到tab1表中。根据经验,千万级的数据可在1小时内完成。但是该方法产生的arch会非常快,需要关注归档的产生量,及时启动备份软件,避免arch目录撑爆。
  alter table tab1 nologging;
  insert /*+ append */ into tab1 select * from tab2;
  commit; alter table tab1 logging;
  该方法会使得产生arch大大减少,并且在一定程度上提高时间,根据经验,千万级的数据可在45分钟内完成。但是请注意,该方法适合单进程的串行方式,如果当有多个进程同时运行时,后发起的进程会有enqueue的等待。注意此方法千万不能dataguard上用,不过要是在database已经force logging那也是没有问题的。
  insert into tab1 select /*+ parallel */ * from tab2; commit;
  对于select之后的语句是全表扫描的情况,我们可以加parallel的hint来提高其并发,这里需要注意的是最大并发度受到初始化参数parallel_max_servers的限制,并发的进程可以通过v$px_session查看,或者ps -ef |grep ora_p查看。
  alter session enable parallel dml;
  insert /*+ parallel */ into tab1 select * from tab2; commit;
  与方法2相反,并发的insert,尚未比较和方法2哪个效率更高(偶估计是方法2快),有测试过的朋友欢迎补充。
  insert into tab1 select * from tab2 partition (p1);
  insert into tab1 select * from tab2 partition (p2);
  insert into tab1 select * from tab2 partition (p3);
  insert into tab1 select * from tab2 partition (p4);
  对于分区表可以利用tab1进行多个进程的并发insert,分区越多,可以启动的进程越多。我曾经试过insert 2.6亿行记录的一个表,8个分区,8个进程,如果用方法2,单个进程完成可能要40分钟,但是由于是有8个分区8个进程,后发进程有enqueue,所以因此需要的时间为40分钟×8;但是如果用方法5,虽然单个进程需要110分钟,但是由于能够并发进程执行,所以总共需要的时间就约为110分钟了。
  DECLARE TYPE dtarray IS TABLE OF VARCHAR2(20)
  INDEX BY BINARY_INTEGER;
  v_col1 dtarray; v_col2 dtarray; v_col3 dtarray;
  BEGIN SELECT col1, col2, col3 BULK COLLECT INTO v_col1, v_col2, v_col3
  FROM tab2;
  FORALL i IN 1 .. v_col1.COUNT insert into tab1
  WHERE tab1.col1 = v_col1;
  END;
  用批量绑定(bulk binding)的方式。当循环执行一个绑定变量的sql语句时候,在PL/SQL 和SQL引擎(engines)中,会发生大量的上下文切换(context switches)。使用bulk binding,能将数据批量的从plsql引擎传到sql引擎,从而减少上下文切换过程,提升效率。该方法比较适合于在线处理,不必停机。
  sqlplus -s user/pwd< runlog.txt set copycommit 2;
  set arraysize 5000;
  copy from user/pwd@sid - to user/pwd@sid - insert tab1 using
  select * from tab2; exit EOF
  用copy的方法进行插入,注意此处insert没有into关键字。该方法的好处是可以设置copycommit和arrarysize来一起控制commit的频率,上面的方法是每10000行commit一次。
分享到:
评论

相关推荐

    Oracle插入大量数据

    根据给定文件的信息,“Oracle插入大量数据”的主题围绕着几种有效的策略展开,旨在提升Oracle数据库在大数据量场景下的性能表现。 ### 高速存储设备的应用 首先提及的是采用高速的存储设备来提升读写能力。EMC和...

    向Oracle数据库插入Clob大段文本解决方法

    - 考虑到性能和效率,对于大量数据的插入或更新操作,可以采用批处理方式,一次执行多条记录的操作,减少数据库交互次数,提高整体性能。 总之,向Oracle数据库插入或更新Clob大段文本是一个涉及SQL语句构建、参数...

    oracle SQL 语句插入数据

    此方法将大量数据一次性加载到PL/SQL表变量中,然后逐条插入。 七、文件导入 在实际操作中,可能需要从外部文件(如`.sql`文件)导入数据。比如`ts_code_20110316.sql`和`ts_msg_20110316.sql`这样的文件,通常包含...

    java批量插入Oracle数据方法

    通过优化这一过程,可以显著提升应用程序的性能,特别是在处理大量数据时。以下是对“java批量插入Oracle数据方法”的深入解析,包括代码示例及其背后的原理。 ### 一、Java批量插入Oracle数据方法概览 在Java中,...

    批量插入大量数据

    在数据库操作中,批量插入大量数据是常见的性能优化策略,特别是在大数据处理或系统初始化时。批量插入能够显著减少网络通信次数,提升效率,降低数据库事务的开销。本例展示了如何在4秒内高效地插入10万条数据,...

    C#.NET中如何批量插入大量数据到数据库中

    在C#.NET中批量插入大量数据到数据库是一个常见的任务,特别是在处理诸如从Excel文件导入数据等场景时。这里,我们将探讨如何使用C#.NET高效地完成这个任务,并提供一个简单的示例来说明整个过程。 首先,我们需要...

    Oracle中如何用一条SQL快速生成10万条测试数据

    通过巧妙地组合Oracle内置的伪列、函数和递归查询方法,我们可以高效地生成大量结构化的测试数据,这对于优化数据库性能、进行数据建模和测试有着重要的作用。掌握了这一技能,无论是对于日常的数据库管理工作还是...

    批量插入数据到Oracle数据库Demo

    3. **FORALL**:在收集了大量数据后,可以使用FORALL语句一次性将它们插入到数据库中,避免了循环中的单次插入,提高了性能。 4. **绑定变量**:在Oracle中,绑定变量可以用来提高查询性能,减少解析次数。在批量...

    将EXCEL数据 插入ORACLE数据库

    在IT行业中,将Excel数据插入Oracle数据库是一项常见的任务,尤其对于数据分析、报表生成以及数据迁移等场景至关重要。本文将详细讲解如何实现这一过程,并探讨相关的技术细节和优化策略。 首先,我们需要了解Excel...

    如何高效删除Oracle数据库中的重复数据

    2. **性能考量**:大量数据的删除可能会严重影响数据库性能,建议在低峰时段执行此类操作。 3. **测试**:在实际环境中删除重复数据前,最好在一个测试环境中先模拟一遍整个流程,以确保不会发生意料之外的问题。 ...

    oracle向数据库里插入图片

    在Oracle数据库中插入图片涉及到BLOB(Binary Large Object)数据类型,这是Oracle用来存储大量二进制数据,如图片、音频或视频文件等的一种方式。本文将详细介绍如何在Oracle数据库中插入、查询和管理图片。 首先...

    Excel表的Oracle数据库插入工具

    在处理大量数据时,性能优化显得尤为重要。可以考虑将数据分块读取,或者使用Oracle的批量插入功能。此外,如果Excel文件非常大,还可以考虑先将数据导出为CSV文件,然后通过SQL*Loader等工具快速导入到Oracle数据库...

    Oracle 大数据量操作性能优化

    Oracle大数据量操作性能优化是指在处理大量数据时,如何提高 Oracle 数据库的性能。该优化技术涉及到多个方面,包括分区、Direct Insert、并行和排序处理等。 分区是 Oracle 中的一种优化技术,可以将大型表分割成...

    oracle导入表导入数据实例

    SQL*Loader是Oracle提供的一种快速、高效的数据加载工具,能够从文本文件或者二进制文件中批量导入大量数据到Oracle表中。它允许用户自定义数据格式,并且支持多种数据源,使得数据迁移和备份变得简单。 2. **导入...

    plsql批量导入数据

    当我们需要处理大量数据导入任务时,PLSQL提供了多种方法来实现批量导入,这些方法高效且灵活。本文将详细介绍如何在PLSQL中进行批量导入数据。 一、SQL*Loader SQL*Loader是Oracle提供的一个命令行工具,它能够...

    Oracle中多表关联批量插入批量更新与批量删除操作

    在Oracle数据库中,进行多表关联的批量插入、批量更新和批量删除操作是常见的数据库管理任务,尤其是在处理大量数据时,这些操作能显著提高效率并减少资源消耗。本文将详细探讨这三个方面,并通过实例代码来展示如何...

    OraExcel excel连接oracle插件 批量插入

    "OraExcel excel连接oracle插件 批量插入"这个主题聚焦在如何通过OraExcel插件实现Excel与Oracle数据库之间的高效交互,特别是批量数据插入的功能。 OraExcel插件是一款专门设计用于简化Excel与Oracle数据库间数据...

    mysql-oracle数据同步

    批量同步则是在特定时间点进行一次性的大量数据迁移,比如在业务低峰期。 对于“mysql-oracle数据同步”这个主题,我们可以采用以下几种方法: 1. **使用ETL工具**:Extract, Transform, Load(ETL)工具如...

    oracle oci 批量插入源代码

    Oracle OCI(Oracle Call ...总之,Oracle OCI批量插入源代码是利用Oracle数据库接口实现高效数据导入的有效工具,对于处理大量数据的系统尤其重要。通过理解和应用这些代码,开发者可以优化数据库操作,提升系统性能。

    用java编程将txt文件数据导入oracle

    1. 高效:该程序可以快速将大量 TXT 文件中的数据导入 Oracle 数据库,提高工作效率。 2. 方便:该程序可以自动将数据导入 Oracle 数据库,免去了手工处理的麻烦。 3. 灵活:该程序可以根据需要修改和扩展,以适应...

Global site tag (gtag.js) - Google Analytics