`

如何优化单表大批量数据提取插入操作

阅读更多
一个表T(数据量超过10亿,但不是分区表,我也纳闷设计者当初为何不分区),每天定时 根据'最后更新日期'字段(DATE类型,有索引)从中提取一批数据(约一千五百万),并将该部分数据插入到另外一个表R;
请问如何提高效率?

我写法如下:
INSERT /*+append*/ INTO R
SELECT /*+parallel(T 8)*/  *
  FROM T
    WHERE LAST_UPD_DATE BETWEEN :date1 AND :date2
;

分享到:
评论

相关推荐

    C#中海量数据的批量插入和更新[顶].pdf

    4. **禁用约束检查**:在进行大批量插入或更新前,可以暂时禁用表的约束检查,如外键约束,以提高速度。操作完成后,再重新启用约束。 5. **批量读取和写入**:如果数据源支持,可以使用BULK INSERT命令来快速导入...

    10倍以上提高Pentaho Kettle的MySQL写入速度

    Pentaho Kettle是一款强大的ETL(提取、转换、加载)工具,用于在不同数据源之间进行数据整合和迁移。MySQL是一种广泛使用的开源关系型数据库管理系统,它在处理大量数据时可能面临性能瓶颈。 这篇博客文章(博文...

    以读取XML方式的大批量导入Excel

    "以读取XML方式的大批量导入Excel"这个话题是关于如何高效地从Excel文件中提取数据,利用XML作为中间格式,然后批量导入到目标系统。这种方法通常用于提高数据处理速度,减少内存消耗,并提供更灵活的数据解析选项。...

    数据库系统之数据转换服务(ppt-35页).ppt

    1. 大容量数据插入:DTS能够高效地处理大容量数据插入,尤其适合大批量数据的导入导出,减少了数据操作对数据库性能的影响。 2. 传输数据库与数据库对象:DTS不仅能够移动数据,还可以迁移整个数据库或者单独的...

    论文研究-海量数据快速批量处理的研究与实现.pdf

    本文是关于海量数据快速批量处理的研究与实现的论文,重点研究了在数据库应用中如何快速大批量抽取和处理数据,并针对特定需求提出了基于共性特征的数据集进行交互式批量处理和批量加工的实现方法。 1. 海量数据的...

    oracle 迅速查询和更新大数据

    - **事务管理**:确保在进行大批量的数据修改时使用适当的事务管理策略,如使用保存点等,以便在出现问题时能够回滚到某个安全状态。 - **错误处理**:编写健壮的错误处理逻辑,确保在遇到异常情况时能够正确处理,...

    java 读取Ftp指定位置的文件解析并入库

    在解析文件时,如果文件内容是结构化的,比如CSV或XML,可能需要使用正则表达式来提取关键数据。 4. **文件解析**: 下载后的文件可能需要进行解析以获取有价值的数据。根据文件类型,可以使用不同的解析策略。...

    datafactory5.6

    在进行大批量数据处理时,DataFactory可能提供了批量插入或批处理功能,以提高效率并减少对数据库的频繁操作。这在处理大量数据时尤为重要,因为它可以降低数据库的负载,同时确保操作的高效性。 "数据工厂"标签...

    18 SQL优化--其他SQL的优化.doc

    #### 大批量插入数据 - 使用 `LOAD DATA INFILE` 命令高效地导入数据。 ```sql mysql> LOAD DATA INFILE 'data.txt' INTO TABLE db.my_table; ``` - 在导入大量数据到 MyISAM 表时,可以先禁用非唯一索引更新,再...

    数据仓库建模与ETL的实践技巧.ppt

    - **批量装载方法**: 利用特定的工具或API进行大批量数据的快速导入。 **4.4 主流ETL工具介绍** 市面上有许多成熟的ETL工具,如Informatica PowerCenter、Talend Data Integration等。 综上所述,BI及其相关技术...

    php excel导入mysql程序

    在实际应用中,还需要考虑错误处理、性能优化(如使用事务处理大批量数据)以及安全性问题(如防止SQL注入)。如果你正在处理大量的数据,你可能还需要关注内存使用和处理时间,因为PHPExcel可能在内存消耗上相对较...

    Hibernate性能优化

    适用于需要频繁进行大批量数据读取的应用场景,例如报表系统、数据分析平台等。 #### 二、Batch Size的合理配置 **知识点解析:** Batch Size是指在执行批量操作时,Hibernate一次提交的SQL语句数量。合理的Batch ...

    MySQL技术资料来自网易的经验总结

    - **大批量插入数据**:讨论如何高效地进行大批量数据的插入操作。 - **优化INSERT语句**:提供优化INSERT语句的建议。 - **优化GROUP BY语句**:提出优化GROUP BY语句的方法。 - **优化ORDER BY语句**:给出...

    excel 批量上传

    `SqlBulkCopy`提供高效的大批量数据传输。例如: ```csharp using (var bulkCopy = new SqlBulkCopy(conn)) { bulkCopy.DestinationTableName = "YourTable"; // 目标表名 bulkCopy.ColumnMappings.Add("Column...

    excel文件批量上传系统

    4. **数据存储**:处理后的数据通常会被批量插入到数据库中,这可能涉及到事务控制和性能优化,以确保大批量数据的高效入库。 5. **反馈显示**:系统会向用户反馈上传结果,如成功条数、失败条数及错误信息等。 在...

Global site tag (gtag.js) - Google Analytics