`

Oracle SQL*Loader 使用指南(解决插入大量的数据)

阅读更多

 

我的理解;

        如果表的属性是NOLOGGING的话,可以用insert /*+ append*/ into 的方式插入,这样就会只产生一点点redo的数据.

       就在insert into 中间加这个/*+ append*/就好了.一般的insert into 是不加的,加了也没有什么用...记得表,或表空间的属性是NOLOGGING的才有用,要不然加与不加是一样的.

http://tech.it168.com/a2008/0905/203/000000203437.shtml

【IT168技术文档】
SQL*Loader是Oracle数据库导入外部数据的一个工具.它和DB2的Load工具相似,但有更多的选择,它支持变化的加载模式,可选的加载及多表加载. 

如何使用 SQL*Loader 工具
我们可以用Oracle的sqlldr工具来导入数据。例如:
sqlldr scott/tiger control=loader.ctl
控制文件(loader.ctl) 将加载一个外部数据文件(含分隔符). loader.ctl如下:
load data
infile 'c:\data\mydata.csv'
into table emp
fields terminated by "," optionally enclosed by '"'
( empno, empname, sal, deptno )

mydata.csv 如下:
10001,"Scott Tiger", 1000, 40
10002,"Frank Naude", 500, 20
下面是一个指定记录长度的示例控制文件。"*" 代表数据文件与此文件同名,即在后面使用BEGINDATA段来标识数据。
load data
infile *
replace
into table departments
( dept position (02:05) char(4),
deptname position (08:27) char(20)
)
begindata
COSC COMPUTER SCIENCE
ENGL ENGLISH LITERATURE
MATH MATHEMATICS
POLY POLITICAL SCIENCE
Unloader这样的工具
Oracle 没有提供将数据导出到一个文件的工具。但是,我们可以用SQL*Plus的select 及 format 数据来输出到一个文件:
set echo off newpage 0 space 0 pagesize 0 feed off head off trimspool on
spool oradata.txt
select col1 || ',' || col2 || ',' || col3
from tab1
where col2 = 'XYZ';
spool off

另外,也可以使用使用 UTL_FILE PL/SQL 包处理:
rem Remember to update initSID.ora, utl_file_dir='c:\oradata' parameter
declare
fp utl_file.file_type;
begin
fp := utl_file.fopen('c:\oradata','tab1.txt','w');
utl_file.putf(fp, '%s, %s\n', 'TextField', 55);
utl_file.fclose(fp);
end;
/

当然你也可以使用第三方工具,如SQLWays ,TOAD for Quest等。

加载可变长度或指定长度的记录
如:
LOAD DATA
INFILE *
INTO TABLE load_delimited_data
FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
( data1,
data2
)
BEGINDATA
11111,AAAAAAAAAA
22222,"A,B,C,D,"

下面是导入固定位置(固定长度)数据示例:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB

跳过数据行:
可以用 "SKIP n" 关键字来指定导入时可以跳过多少行数据。如:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
SKIP 5
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB

导入数据时修改数据:
在导入数据到数据库时,可以修改数据。注意,这仅适合于常规导入,并不适合 direct导入方式.如:
LOAD DATA
INFILE *
INTO TABLE modified_data
( rec_no "my_db_sequence.nextval",
region CONSTANT '31',
time_loaded "to_char(SYSDATE, 'HH24:MI')",
data1 POSITION(1:5) ":data1/100",
data2 POSITION(6:15) "upper(:data2)",
data3 POSITION(16:22)"to_date(:data3, 'YYMMDD')"
)
BEGINDATA
11111AAAAAAAAAA991201
22222BBBBBBBBBB990112

LOAD DATA
INFILE 'mail_orders.txt'
BADFILE 'bad_orders.txt'
APPEND
INTO TABLE mailing_list
FIELDS TERMINATED BY ","
( addr,
city,
state,
zipcode,
mailing_addr "decode(:mailing_addr, null, :addr, :mailing_addr)",
mailing_city "decode(:mailing_city, null, :city, :mailing_city)",
mailing_state
)

将数据导入多个表:
如:
LOAD DATA
INFILE *
REPLACE
INTO TABLE emp
WHEN empno != ' '
( empno POSITION(1:4) INTEGER EXTERNAL,
ename POSITION(6:15) CHAR,
deptno POSITION(17:18) CHAR,
mgr POSITION(20:23) INTEGER EXTERNAL
)
INTO TABLE proj
WHEN projno != ' '
( projno POSITION(25:27) INTEGER EXTERNAL,
empno POSITION(1:4) INTEGER EXTERNAL
)

导入选定的记录:
如下例: (01) 代表第一个字符, (30:37) 代表30到37之间的字符:
LOAD DATA
INFILE 'mydata.dat' BADFILE 'mydata.bad' DISCARDFILE 'mydata.dis'
APPEND
INTO TABLE my_selective_table
WHEN (01) <> 'H' and (01) <> 'T' and (30:37) = '19991217'
(
region CONSTANT '31',
service_key POSITION(01:11) INTEGER EXTERNAL,
call_b_no POSITION(12:29) CHAR
)

导入时跳过某些字段:
可用 POSTION(x:y) 来分隔数据. 在Oracle8i中可以通过指定 FILLER 字段实现。FILLER 字段用来跳过、忽略导入数据文件中的字段.如:
LOAD DATA
TRUNCATE INTO TABLE T1
FIELDS TERMINATED BY ','
( field1,
field2 FILLER,
field3
)

导入多行记录:
可以使用下面两个选项之一来实现将多行数据导入为一个记录:

CONCATENATE: - use when SQL*Loader should combine the same number of physical records together to form one logical record.

CONTINUEIF - use if a condition indicates that multiple records should be treated as one. Eg. by having a '#' character in column 1.

SQL*Loader 数据的提交:
一般情况下是在导入数据文件数据后提交的。
也可以通过指定 ROWS= 参数来指定每次提交记录数。

提高 SQL*Loader 的性能:
1) 一个简单而容易忽略的问题是,没有对导入的表使用任何索引和/或约束(主键)。如果这样做,甚至在使用ROWS=参数时,会很明显降低数据库导入性能。
2) 可以添加 DIRECT=TRUE来提高导入数据的性能。当然,在很多情况下,不能使用此参数。
3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志。这个选项只能和 direct 一起使用。
4) 可以同时运行多个导入任务.

常规导入与direct导入方式的区别:
常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中。

分享到:
评论

相关推荐

    sql*loader 指南

    SQL*Loader是Oracle提供的一款高效数据加载工具,用于将外部文件中的数据批量加载到Oracle数据库表中。该工具支持多种文件格式,包括CSV、文本文件等,并且能够处理复杂的字符分隔符和字段格式化需求。SQL*Loader有...

    oracle sqlloader使用指南

    Oracle SQL*Loader 是一个强大的工具,用于快速地将大量数据从外部文件批量导入到Oracle数据库中。这个工具提供了多种选项和灵活性,使得数据装载过程能够适应各种不同的数据格式和需求。下面我们将深入探讨如何使用...

    oracle数据导出工具sqluldr2

    Oracle 数据导出工具 SQL*Loader (SQLULDR2) 是 Oracle 数据库系统中一个强大的批量数据加载工具,用于高效地将大量数据从外部文件导入到数据库表中。它通过使用控制文件来定义数据格式和加载策略,使得数据导入过程...

    Oracle DataBase 10g SQL 开发指南 源码

    7. **游标与循环**:在处理大量数据时,游标允许逐行处理结果集,结合PL/SQL的循环结构,可以实现复杂的业务逻辑。 8. **数据导入导出**:使用SQL*Loader、EXPDP/IMPDP等工具进行数据迁移,是数据库管理员和开发...

    Oracle Lob Performance Guidelines

    8. **使用 Direct Path 插入**:在插入大量 LOB 数据时,使用 Direct Path 插入可以显著提高性能。这可以通过 SQL*Loader 或 `INSERT /*+ APPEND */` 语句实现。 9. **优化查询计划**:确保数据库优化器选择最优的...

    Oracle Database 11g SQL Fundamentals 英文原版

    8. 数据导入导出:掌握如何使用SQL*Loader和Data Pump工具进行大量数据的导入和导出。 通过学习Oracle Database 11g SQL Fundamentals,不仅可以掌握SQL语言的基本技能,还能了解到Oracle 11g数据库的高级特性,为...

    Oracle数据库基础知识

    - 使用Sql\*Loader工具,确保目标数据库的网络可达性。 **3.13 怎样倒出、倒入文本数据** - 使用`EXPORT`和`IMPORT`命令来导出和导入数据。 **3.14 如何更新当前数据库日志备份方式为archive** - 修改数据库的...

    oracle database 11g完全参考手册 高清完整版part1 共3部分

     第23章 用sql*loader 加载数据  第24章 使用data pump export 和data pump import  第25章 访问远程数据  第26章 使用物化视图  第27章 使用oracle text 进行文本搜索  第28章 使用外部表  第29章 使用闪回...

    oracle database 10g 完整参考手册part1

    第21章 用SQL*Loader加载数据 第22章 使用Data Pump导入和导出 第23章 访问远程数据 第24章 使用物化视图 第25章 使用Oracle Text进行文本搜索 第26章 使用外部表 第27章 使用回闪查询 第28章 回闪:表和数据库 第Ⅳ...

    ORACLE_OCP10g学习笔记.pdf

    - **SQL*LOADER**:用于批量加载数据的工具。 ### PL/SQL 编译 - **PL/SQL**:Oracle提供的过程化语言,用于编写复杂的数据库应用程序。 ### Oracle 数据库安全 - **数据安全**:确保数据的保密性和完整性。 - **...

    [oracle数据库11G初学者指南].Oracle.Database.11g,.A.Beginner's.Guide

    - **逻辑备份(Logical Backup)**:使用SQL*Loader等工具导出数据。 - **物理备份(Physical Backup)**:复制数据库文件。 - **恢复(Recovery)**:在数据库受损时,利用备份文件和日志文件还原数据库至正常状态。 ###...

    oracle database 11g 高清完整中文版part2

     第23章 用sql*loader 加载数据  第24章 使用data pump export 和data pump import  第25章 访问远程数据  第26章 使用物化视图  第27章 使用oracle text 进行文本搜索  第28章 使用外部表  第29章 使用闪回...

    Oracle实际操作应用

    Oracle 提供了数据泵(Data Pump)、SQL*Loader 和其他工具,用于高效地导入导出数据,实现数据的迁移或备份恢复。 通过本教程的学习,读者将能够熟练掌握 Oracle 的实际操作,从基础的 SQL 查询到复杂的 PL/SQL ...

    ORACLE.10G入门与实践

    10. **数据导入导出**:掌握使用SQL*Loader和Data Pump工具进行大量数据的导入导出操作。 11. **故障诊断**:学习如何识别和解决常见的Oracle错误,以及如何使用trace文件和警告日志进行问题定位。 这本书作为一个...

    Oracle Scripting Implementation Guide Release 11i

    4. **数据迁移和导入导出**:Oracle提供了多种工具,如SQL*Loader、Data Pump等,用于大量数据的导入导出。指南将指导用户如何使用这些工具,以及如何编写相关的脚本来自动化数据迁移。 5. **性能调优**:在11i版本...

    oracle8傻瓜手册

    9. **数据导入导出**:如何使用SQL*Loader、EXP/IMP工具进行大量数据的导入和导出,这对于数据迁移和备份至关重要。 10. **网络配置**:Oracle8支持多种网络连接方式,手册将解释如何配置网络环境,实现远程数据库...

    mysql迁移到oracle-文件备份

    这时可以考虑使用Oracle的`SQL Loader`或`External Tables`进行批量导入,以提高效率。 7. **功能验证**:迁移完成后,需要进行全面的功能测试,确保所有业务逻辑和查询在Oracle环境中都能正常工作。 8. **性能...

    超详细Oracle教程

    - **SQLLoader**:介绍SQLLoader工具的使用,用于大批量导入导出数据。 #### 第二十五章 数据库设计范式 - **第一范式(1NF)**:确保表中的每一列都是不可分割的基本数据项。 - **第二范式(2NF)**:在1NF的基础上...

    oracle database 11g 完整参考手册中文高清完整版part3

     第23章 用sql*loader 加载数据  第24章 使用data pump export 和data pump import  第25章 访问远程数据  第26章 使用物化视图  第27章 使用oracle text 进行文本搜索  第28章 使用外部表  第29章 使用闪回...

Global site tag (gtag.js) - Google Analytics