`
Wen_JN_86
  • 浏览: 33609 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

Oracle-sqlldr性能

阅读更多

 

说下有关 SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)

2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务.

sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true

当加载大量数据时(大约超过10GB),最好抑制日志的产生:

SQL>ALTER TABLE RESULTXT nologging;

这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable, 此选项必须要与DIRECT共同应用。

在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。

分享到:
评论

相关推荐

    liunx oracle-instantclient9版本basic、sqlolus、tool安装包

    在Linux环境中,Oracle Instant Client是用于连接到Oracle数据库服务器的重要工具。...同时,Oracle Instant Client 9可能较旧,对于新版本的Oracle数据库可能不完全兼容,建议使用最新版本以获取最佳性能和安全性。

    windowns下利用bat命令+oracle的sqlldr功能导入数据

    Oracle的SQL*Loader(简称SQLLDR)工具就是这样一个强大的数据加载器,它能快速高效地将数据从外部文件批量导入到数据库中。结合批处理(BAT)脚本,我们可以自动化这个过程,提高工作效率。下面我们将详细探讨如何...

    OraLoader--用sqlldr的Oracle库表数据装载工具

    4. **性能优化**:OraLoader利用了sqlldr的底层性能优势,能够在处理大量数据时保持高速,同时提供并行装载选项,进一步提升数据导入速度。 5. **错误处理与记录**:在数据装载过程中,OraLoader会自动检测并记录...

    oracle sqlldr多文件批量导入

    在“oracle sqlldr多文件批量导入”这个场景下,我们需要掌握如何利用SQL*Loader一次性处理多个数据文件的导入操作。下面我们将详细讲解这个主题。 首先,了解SQL*Loader的基本结构。SQL*Loader通过控制文件(.ctl...

    Oracle Client sqlldr和ulus.msb文件

    `sqlldr`,全称为SQL*Loader,是Oracle提供的一种强大的数据加载工具。它能够快速地将大量数据从文本文件导入到数据库表中,适用于大批量的数据迁移、初始化或更新任务。`sqlldr`具有以下特点和功能: 1. **高速...

    oracle linux 11gR2 x86-64 instant client with sqplus sqlldr imp exp工具

    其次,SQLLoader(sqlldr)是一个强大的数据加载工具,用于将大量数据快速导入到Oracle数据库中。它可以从各种格式的文本文件中读取数据,如CSV或固定宽度文件,并且可以进行数据转换和验证。SQLLoader通过控制文件...

    oracle最强大的sqlldr上传工具

    - 运行SQL*Loader:执行sqlldr命令,指定用户、口令、控制文件路径及数据文件路径。 - 验证数据:导入完成后,检查数据是否正确导入到数据库中。 3. 控制文件的关键元素: - `LOAD DATA`:开始导入数据的声明。 ...

    Oracle数据库linux客户端安装包

    安装完成后,你可以使用这些客户端工具连接到远程Oracle数据库服务器,执行查询、管理用户、监控性能、备份和恢复数据等任务。对于开发者而言,这个客户端包是他们在Linux环境下开发Oracle数据库应用程序的重要资源...

    关于 Oracle 的数据导入导出及 Sql Loader (sqlldr)

    - 分批导入以减少锁竞争,提高并发性能。 - 定期清理导出的DMP文件,以节省存储空间。 5. **安全注意事项** - 在进行数据导入导出时,确保操作权限适当,避免数据泄露。 - 导出敏感数据时,考虑使用参数隐藏或...

    sqlldr通过excel上传数据

    SQL*Loader(简称sqlldr)是Oracle数据库提供的一款强大的数据加载工具,用于高效地将大量数据从外部文件导入到数据库表中。在这个场景下,我们关注的是如何利用sqlldr将Excel数据快速批量地导入到Oracle数据库。...

    windowx64 oracle12.2.0.1.0 命令行工具集

    wrc: wrc 是 Oracle 的 Workload Replay Capture 工具,用于捕获生产环境的工作负载,并将其用于性能测试和分析。 sqlldr: sqlldr 是 Oracle 的 SQL*Loader 工具,用于将外部数据加载到 Oracle 数据库中。它允许你...

    利用sqlldr大量数据导入

    在数据库管理中,高效的数据导入是至关重要的,尤其是在处理大量数据时。`SQL*Loader`(简称sqlldr)是Oracle数据库提供的...在实际操作中,应结合具体业务需求和数据库环境,灵活运用sqlldr的各项功能,以实现最佳性能。

    Oracle官方32位客户端-instantclient-basic-nt-12.1.0.2.0

    这个版本是Oracle Instant Client系列的一个重要更新,它包含了多项改进和新功能,旨在提升性能、稳定性和安全性。 Oracle Instant Client的基本组成部分包括以下几部分: 1. **oci.dll**: Oracle Call Interface ...

    D:\sqluldr2\sqlldr(linux+windows).rar

    SQL*Loader还支持更高级的功能,如直接路径加载(提高性能)、字段转换、子查询加载、函数处理等,使得数据加载更为灵活和高效。 综上所述,这个压缩包提供了一个全面的SQL*Loader使用资源,无论是在Linux还是...

    sqlldr_所有命令及用法

    SQL*Loader,简称sqlldr,是Oracle数据库系统中用于快速加载大量数据到数据库的一个实用工具。它是Oracle Data Pump的一部分,提供了高效的数据导入功能,适用于批量处理大数据量的场景。 1. **sqlldr简介** SQL*...

    Oracle10G数据库操作DLL文件

    这个DLL文件,即`Oracle.DataAccess.dll`,包含了Oracle Data Provider for .NET (ODP.NET),它是一个全面、高性能且完全托管的数据访问驱动程序,允许开发人员直接使用C#等.NET语言进行Oracle数据库的CRUD(创建、...

    Oracle_Database_10g实用培训教程

    根据提供的文件信息,该文件是一个关于Oracle Database 10g的实用培训教程。Oracle Database 10g 是Oracle公司发布的一个数据库管理系统版本,其中“g”代表网格计算(grid computing)。Oracle Database 10g版本...

    sqlldr例子

    SQL*Loader(简称sqlldr)是Oracle数据库系统中一个强大的数据加载工具,它可以从外部文件高效地批量导入数据到数据库中。这篇博文将详细介绍sqlldr的使用实例,帮助你理解和掌握这一工具,以便在实际工作中更有效地...

    我的第一个SQLLDR

    在实际应用中,SQL*Loader通常用于批量导入大量结构化的文本文件数据,如CSV或固定宽度格式文件,从而提高了数据加载的效率和性能。 使用SQL*Loader的过程通常包括以下步骤: 1. **创建控制文件**:这是SQL*Loader...

    sqlldr数据加载工具(sqlldr的介绍)

    ### 性能优化 SQL*Loader提供了两种优化加载速度的方法: 1. **DIRECT PATH**: 直接路径加载跳过了Oracle的SQL引擎,直接将数据写入数据文件,减少了处理时间和内存占用。 2. **PARALLEL**: 并行加载,通过多个进程...

Global site tag (gtag.js) - Google Analytics