[转]关于 Oracle 的数据导入导出及 Sql Loader (sqlldr) 的用法

原帖 http://www.blogjava.net/Unmi/archive/2009/01/05/249956.html

关于 Oracle 的数据导入导出及 Sql Loader (sqlldr) 的用法

在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中
2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from A@dblink where ...
3. exp A 表，再 imp 到 B 表，exp 时可加查询条件
4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显

第 1 种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

1. alter table B nologging;   
2. insert into B(c1,c2) values(x,xx);   
3. insert into B select * from A@dblink where .....;  

alter table B nologging;insert into B(c1,c2) values(x,xx);insert into B select * from A@dblink where .....;
好啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle 的 Sql Loader (sqlldr) 的用法。

在命令行下执行 Oracle   的 sqlldr 命令，可以看到它的详细参数说明，要着重关注以下几个参数：

userid -- Oracle 的 username/password[@servicename]
control -- 控制文件，可能包含表的数据
------------------------------------------------------------------------------------------------------------------
log -- 记录导入时的日志文件，默认为 控制文件(去除扩展名).log
bad -- 坏数据文件，默认为 控制文件(去除扩展名).bad
data -- 数据文件，一般在控制文件中指定
errors -- 允许的错误记录数，可以用他来控制一条记录都不能错
rows -- 多少条记录提交一次，默认为 64
skip -- 跳过的行数，比如导出的数据文件前面几行是表头或其他描述

还有更多的 sqlldr 的参数说明请参考：sql loader的用法。

用例子来演示 sqlldr 的使用，有两种使用方法：

1. 只使用一个控制文件，在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL *Plus 的 spool 格式化产出，或是 UTL_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。

首先，假定有这么一个表 users，并插入五条记录：

create table users(         user_id number,         user_name varchar2(50),         login_times number,         last_login date)   create table users( user_id number, user_name varchar2(50), login_times number, last_login date)

insert into users values(1,'Unmi',3,sysdate);    insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));    insert into users values(3,'隔叶黄莺',8,to_date('2009-01-02','YYYY-MM-DD'));    insert into users values(4,'Kypfos',NULL,NULL);    insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));   insert into users values(1,'Unmi',3,sysdate); insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD')); insert into users values(3,'隔叶黄莺',8,to_date('2009-01-02','YYYY-MM-DD')); insert into users values(4,'Kypfos',NULL,NULL); insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));

第二种方式： 使用一个控制文件(作为模板) 和一个数据文件

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：

1. "    ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"  
2. "1","1","Unmi","3","2009-1-5 20:34:44"  
3. "2","2","","5","2008-10-15"  
4. "3","3","隔叶黄莺","8","2009-1-2"  
5. "4","4","Kypfos","",""  
6. "5","5","不知秋","1","2008-12-23"  

" ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN""1","1","Unmi","3","2009-1-5 20:34:44""2","2","","5","2008-10-15""3","3","隔叶黄莺","8","2009-1-2""4","4","Kypfos","","""5","5","不知秋","1","2008-12-23"
2) 建立一个控制文件 users.ctl，内容如下：

1. OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来   
2. LOAD DATA   
3. INFILE "users_data.csv"  
4. truncate   
5. INTO TABLE users   
6. Fields terminated by ","  
7. Optionally enclosed by '"'
8. trailing nullcols
9. (
10.    virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号
11.    user_id,
12.    user_name,
13.    login_times,
14.    last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="")   
15. )  

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来LOAD DATAINFILE "users_data.csv"truncateINTO TABLE usersFields terminated by ","Optionally enclosed by '"'trailing nullcols(virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号user_id,user_name,login_times,last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login=""))
3) 执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。

第一种方式，只使用一个控制文件在这个控制文件中包含数据

1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE *。此时，完整的 users.ctl 文件内容是：

1. OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来   
2. LOAD DATA   
3. INFILE *   
4. truncate   
5. INTO TABLE users   
6. Fields terminated by ","  
7. Optionally enclosed by '"'
8. trailing nullcols
9. (
10.    virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号
11.    user_id,
12.    user_name,
13.    login_times,
14.    last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="")
15. )
16. BEGINDATA
17. "   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"
18. "1","1","Unmi","3","2009-1-5 20:34:44"
19. "2","2","","5","2008-10-15"
20. "3","3","隔叶黄莺","8","2009-1-2"
21. "4","4","Kypfos","",""
22. "5","5","不知秋","1","2008-12-23"  

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来LOAD DATAINFILE *truncateINTO TABLE usersFields terminated by ","Optionally enclosed by '"'trailing nullcols(virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号user_id,user_name,login_times,last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login=""))BEGINDATA" ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN""1","1","Unmi","3","2009-1-5 20:34:44""2","2","","5","2008-10-15""3","3","隔叶黄莺","8","2009-1-2""4","4","Kypfos","","""5","5","不知秋","1","2008-12-23"
2) 执行一样的命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

未完，待续……

参考：1. Oracle SQL*Loader
        2. sql loader的用法
        3. 使用SQL Loader导入大量数据，避免使用SQL频繁写库
        4. Oracle SQL Loader的详细语法
        5. oracle sql loader全攻略
        6. SQL*Loader Control File Reference
        7. 学习oracle sql loader 的使用
        8. 用sqlloader(sqlldr)装载LOB数据