说下有关 SQL *Loader 的性能与并发操作
1) ROWS 的默认值为 64,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)
2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。
3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。
4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务.
sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable, 此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。
分享到:
相关推荐
在Linux环境中,Oracle Instant Client是用于连接到Oracle数据库服务器的重要工具。...同时,Oracle Instant Client 9可能较旧,对于新版本的Oracle数据库可能不完全兼容,建议使用最新版本以获取最佳性能和安全性。
Oracle的SQL*Loader(简称SQLLDR)工具就是这样一个强大的数据加载器,它能快速高效地将数据从外部文件批量导入到数据库中。结合批处理(BAT)脚本,我们可以自动化这个过程,提高工作效率。下面我们将详细探讨如何...
4. **性能优化**:OraLoader利用了sqlldr的底层性能优势,能够在处理大量数据时保持高速,同时提供并行装载选项,进一步提升数据导入速度。 5. **错误处理与记录**:在数据装载过程中,OraLoader会自动检测并记录...
在“oracle sqlldr多文件批量导入”这个场景下,我们需要掌握如何利用SQL*Loader一次性处理多个数据文件的导入操作。下面我们将详细讲解这个主题。 首先,了解SQL*Loader的基本结构。SQL*Loader通过控制文件(.ctl...
`sqlldr`,全称为SQL*Loader,是Oracle提供的一种强大的数据加载工具。它能够快速地将大量数据从文本文件导入到数据库表中,适用于大批量的数据迁移、初始化或更新任务。`sqlldr`具有以下特点和功能: 1. **高速...
其次,SQLLoader(sqlldr)是一个强大的数据加载工具,用于将大量数据快速导入到Oracle数据库中。它可以从各种格式的文本文件中读取数据,如CSV或固定宽度文件,并且可以进行数据转换和验证。SQLLoader通过控制文件...
- 运行SQL*Loader:执行sqlldr命令,指定用户、口令、控制文件路径及数据文件路径。 - 验证数据:导入完成后,检查数据是否正确导入到数据库中。 3. 控制文件的关键元素: - `LOAD DATA`:开始导入数据的声明。 ...
安装完成后,你可以使用这些客户端工具连接到远程Oracle数据库服务器,执行查询、管理用户、监控性能、备份和恢复数据等任务。对于开发者而言,这个客户端包是他们在Linux环境下开发Oracle数据库应用程序的重要资源...
- 分批导入以减少锁竞争,提高并发性能。 - 定期清理导出的DMP文件,以节省存储空间。 5. **安全注意事项** - 在进行数据导入导出时,确保操作权限适当,避免数据泄露。 - 导出敏感数据时,考虑使用参数隐藏或...
SQL*Loader(简称sqlldr)是Oracle数据库提供的一款强大的数据加载工具,用于高效地将大量数据从外部文件导入到数据库表中。在这个场景下,我们关注的是如何利用sqlldr将Excel数据快速批量地导入到Oracle数据库。...
wrc: wrc 是 Oracle 的 Workload Replay Capture 工具,用于捕获生产环境的工作负载,并将其用于性能测试和分析。 sqlldr: sqlldr 是 Oracle 的 SQL*Loader 工具,用于将外部数据加载到 Oracle 数据库中。它允许你...
在数据库管理中,高效的数据导入是至关重要的,尤其是在处理大量数据时。`SQL*Loader`(简称sqlldr)是Oracle数据库提供的...在实际操作中,应结合具体业务需求和数据库环境,灵活运用sqlldr的各项功能,以实现最佳性能。
这个版本是Oracle Instant Client系列的一个重要更新,它包含了多项改进和新功能,旨在提升性能、稳定性和安全性。 Oracle Instant Client的基本组成部分包括以下几部分: 1. **oci.dll**: Oracle Call Interface ...
SQL*Loader还支持更高级的功能,如直接路径加载(提高性能)、字段转换、子查询加载、函数处理等,使得数据加载更为灵活和高效。 综上所述,这个压缩包提供了一个全面的SQL*Loader使用资源,无论是在Linux还是...
SQL*Loader,简称sqlldr,是Oracle数据库系统中用于快速加载大量数据到数据库的一个实用工具。它是Oracle Data Pump的一部分,提供了高效的数据导入功能,适用于批量处理大数据量的场景。 1. **sqlldr简介** SQL*...
这个DLL文件,即`Oracle.DataAccess.dll`,包含了Oracle Data Provider for .NET (ODP.NET),它是一个全面、高性能且完全托管的数据访问驱动程序,允许开发人员直接使用C#等.NET语言进行Oracle数据库的CRUD(创建、...
根据提供的文件信息,该文件是一个关于Oracle Database 10g的实用培训教程。Oracle Database 10g 是Oracle公司发布的一个数据库管理系统版本,其中“g”代表网格计算(grid computing)。Oracle Database 10g版本...
SQL*Loader(简称sqlldr)是Oracle数据库系统中一个强大的数据加载工具,它可以从外部文件高效地批量导入数据到数据库中。这篇博文将详细介绍sqlldr的使用实例,帮助你理解和掌握这一工具,以便在实际工作中更有效地...
在实际应用中,SQL*Loader通常用于批量导入大量结构化的文本文件数据,如CSV或固定宽度格式文件,从而提高了数据加载的效率和性能。 使用SQL*Loader的过程通常包括以下步骤: 1. **创建控制文件**:这是SQL*Loader...
### 性能优化 SQL*Loader提供了两种优化加载速度的方法: 1. **DIRECT PATH**: 直接路径加载跳过了Oracle的SQL引擎,直接将数据写入数据文件,减少了处理时间和内存占用。 2. **PARALLEL**: 并行加载,通过多个进程...