`
zhb8015
  • 浏览: 397589 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
Group-logo
Spring Roo杂谈
浏览量:0
社区版块
存档分类
最新评论

oracle sql loader

阅读更多
Oracle   SQL   Loader的详细语法  
  SQL*LOADER
ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据  
 
仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECTPARALLEL)。现在,我们抛开其理论不谈,用实例来使您快速掌握SQL*LOADER的使用方法。  
   
首先,我们认识一下SQL*LOADER  
   
NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload  
   
如执行:d:\oracle>sqlldr  
  SQL*Loader:   Release   8.1.6.0.0   -   Production   on  
星期二   1   8   11:06:42   2002  
  (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.  
 
用法:   SQLLOAD   关键字   =      [,keyword=value,...]  
 
有效的关键字:  
  userid   --   ORACLE   username/password  
  control   --   Control   file   name  
  log   --   Log   file   name  
  bad   --   Bad   file   name  
  data   --   Data   file   name  
  discard   --   Discard   file   name  
  discardmax   --   Number   of   discards   to   allow   (
全部默认)  
  skip   --   Number   of   logical   records   to   skip   (
默认0)  
  load   --   Number   of   logical   records   to   load   (
全部默认)  
  errors   --   Number   of   errors   to   allow   (
默认50)  
  rows   --   Number   of   rows   in   conventional   path   bind   array   or   between   direct   path   data   saves  
 
(默认:   常规路径   64,   所有直接路径)  
  bindsize   --   Size   of   conventional   path   bind   array   in   bytes(
默认65536)  
  silent   --   Suppress   messages   during   run   (header,feedback,errors,discards,partitions)  
  direct   --   use   direct   path   (
默认FALSE)  
  parfile   --   parameter   file:   name   of   file   that   contains   parameter   specifications  
  parallel   --   do   parallel   load   (
默认FALSE)  
  file   --   File   to   allocate   extents   from  
  skip_unusable_indexes   --   disallow/allow   unusable   indexes   or   index   partitions(
默认FALSE)  
  skip_index_maintenance   --   do   not   maintain   indexes,   mark   affected   indexes   as   unusable(
默认FALSE)  
  commit_discontinued   --   commit   loaded   rows   when   load   is   discontinued(
默认FALSE)  
  readsize   --   Size   of   Read   buffer   (
默认1048576)  
  PLEASE   NOTE:  
命令行参数可以由位置或关键字指定  
 
。前者的例子是   'sqlload  scott/tiger   foo';后者的例子是   'sqlload   control=foo userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,  
  'SQLLOAD   SCott/tiger   control=foo   logfile=log',  
'不允许                             
sqlload   scott/tiger   control=foo   log',即使允许 参数   'log'   的位置正确。  
  d:\oracle>  
 
我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000 ADV SERVER  
 
     我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。  
 
     一、已存在数据源result.csv,欲倒入ORACLEFANCY用户下。  
 
       result.csv内容:  
 
     1,默认   Web   站点,192.168.2.254:80:,RUNNING  
 
     2,other,192.168.2.254:80:test.com,STOPPED  
 
     3,third,192.168.2.254:81:thirdabc.com,RUNNING  
 
     从中,我们看出4列,分别以逗号分隔,为变长字符串。  
 
     二、制定控制文件result.ctl  
  result.ctl
内容:  
  load   data  
  infile   'result.csv'  
  into   table   resultxt    
  (resultid   char   terminated   by   ',',  
  website   char   terminated   by   ',',  
  ipport   char   terminated   by   ',',  
  status   char   terminated   by   whitespace)  
 
     说明:  
 
     infile 指数据源文件 这里我们省略了默认的 discardfile   result.dsc   badfile   result.bad  
 
     into   table   resultxt   默认是INSERT,也可以into   table   resultxt   APPEND为追加方式,或REPLACE  
 
     terminated   by   ',' 指用逗号分隔  
 
     terminated   by   whitespace 结尾以空白分隔  
 
     三、此时我们执行加载:  
  D:\>sqlldr   userid=fancy/testpass   control=result.ctl   log=resulthis.out  
  SQL*Loader:   Release   8.1.6.0.0   -   Production   on  
星期二   1   8   10:25:42   2002  
  (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.  
  SQL*Loader-941:  
在描述表RESULTXT时出现错误  
  ORA-04043:  
对象   RESULTXT   不存在  
 
     提示出错,因为数据库没有对应的表。  
 
     四、在数据库建立表  
 
    create   table   resultxt  
  (resultid   varchar2(500),  
  website   varchar2(500),  
  ipport   varchar2(500),  
  status   varchar2(500))  
  /  
      五、重新执行加载  
 
     D:\>sqlldr   userid=fancy/k1i7l6l8   control=result.ctl   log=resulthis.out  
  SQL*Loader:   Release   8.1.6.0.0   -   Production   on  
星期二   1   8   10:31:57   2002  
  (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.  
 
达到提交点,逻辑记录计数2  
 
达到提交点,逻辑记录计数3  
 
     已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:  
  SQL*Loader:   Release   8.1.6.0.0   -   Production   on  
星期二   1   8   10:31:57   2002  
  (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.  
 
控制文件:   result.ctl  
 
数据文件:   result.csv  
 
错误文件:   result.bad  
 
废弃文件:   未作指定  
  :    
  (
可废弃所有记录)  
 
装载数:   ALL  
 
跳过数:   0  
 
允许的错误:   50  
 
绑定数组:   64   行,最大   65536   字节  
 
继续:   未作指定  
 
所用路径:   常规  
 
RESULTXT  
 
已载入从每个逻辑记录  
 
插入选项对此表INSERT生效  
 
列名   位置   长度   中止   包装数据类型  
  ------------------------------   ----------   -----   ----   ----   ---------------------  
  RESULTID   FIRST   *   ,   CHARACTER    
  WEBSITE   NEXT   *   ,   CHARACTER    
  IPPORT   NEXT   *   ,   CHARACTER    
  STATUS   NEXT   *   WHT   CHARACTER    
 
RESULTXT:    
  3  
行载入成功  
 
由于数据错误,   0   行没有载入。  
 
由于所有   WHEN   子句失败,   0   行没有载入。  
 
由于所有字段都为空的,   0   行没有载入。  
 
为结合数组分配的空间:   65016字节(63行)  
 
除绑定数组外的内存空间分配:   0字节  
 
跳过的逻辑记录总数:   0  
 
读取的逻辑记录总数:   3  
 
拒绝的逻辑记录总数:   0  
 
废弃的逻辑记录总数:   0  
 
从星期二   1   08   10:31:57   2002开始运行  
 
在星期二   1   08   10:32:00   2002处运行结束  
 
经过时间为:   00:   00:   02.70  
  CPU  
时间为:   00:   00:   00.10(  
 
     六、并发操作   
  sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true  
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true  
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true
  
 
当加载大量数据时(大约超过10GB),最好抑制日志的产生:  
 
     SQL>ALTER   TABLE   RESULTXT   nologging;  
 
这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load   data上面加一行:unrecoverable     此选项必须要与DIRECT共同应用。  
 
 在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到110G就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。   
 
有关SQLLDR的问题    
 
控制文件:input.ctl,内容如下:    
 
     load   data             --1、控制文件标识    
 
     infile   'test.txt'         --2、要输入的数据文件名为test.txt    
 
     append   into   table   test    --3、向表test中追加记录    
 
     fields   terminated   by   X'09'  --4、字段终止于X'09',是一个制表符(TAB    
 
     (id,username,password,sj)     -----定义列对应顺序    
   
 
其中append为数据装载方式,还有其他选项:    
  a
insert,为缺省方式,在数据装载开始时要求表为空    
  b
append,在表中追加新记录    
  c
replace,删除旧记录,替换成新装载的记录    
  d
truncate,同上      
==================================================================================
PS:    下面是我用C#写的调用SQL_LOADER的方法
Private Function Exec_SqlLoader(ByVal s_aFilePath As String, ByVal o_afileName As Hashtable, ByRef s_aErrMsg As String) As Boolean
        FilePath = s_aFilePath.Trim("\")
        Dim ctlPath As String = FilePath + "\control"
        s_aErrMsg = ""
        Try
            For i As Integer = 1 To 4
                Dim strmReader As New StreamReader(ctlPath + "\001" + i.ToString() + ".ctl")
                Dim ctlContent As String = strmReader.ReadToEnd()
                ctlContent = ctlContent.Replace("{{dataFile}}", o_afileName.Item(i.ToString))
                strmReader.Close()
                strmReader = Nothing
                Dim strCtlName As String = ctlPath + "\001" + i.ToString() + "new.ctl"
                Dim strLogName As String = ctlPath + "\001" + i.ToString() + "new.log"
                Dim strBadName As String = ctlPath + "\001" + i.ToString() + "new.bad"
                Dim strDscName As String = ctlPath + "\001" + i.ToString() + "new.dsc"
                Dim strmWriter As StreamWriter = File.CreateText(strCtlName)
                strmWriter.Write(ctlContent)
                strmWriter.Close()
                strmWriter = Nothing
                If (File.Exists(strBadName)) Then
                    File.Delete(strBadName)
                End If
                Dim connSetting As String() = thisVersion.MSD_ConnectionStr.Split(";")
                Dim serviceName As String = CType(connSetting.GetValue(0), String)
                serviceName = serviceName.Substring(serviceName.IndexOf("=") + 1)
                Dim userId As String = CType(connSetting.GetValue(1), String)
                userId = userId.Substring(userId.IndexOf("=") + 1)
                Dim password As String = CType(connSetting.GetValue(2), String)
                password = password.Substring(password.IndexOf("=") + 1)
                Dim strPathName As String
                strPathName = "sqlldr " + userId + "/" + password + "@" + serviceName + " control='" + strCtlName + "' log='" + strLogName + "' bad='" + strBadName + "' discard='" + strDscName + "' errors=500"
                Microsoft.VisualBasic.Shell(strPathName, AppWinStyle.MinimizedFocus, True)
                If (File.Exists(strBadName)) Then
                    File.Copy(strBadName, FilePath + "\BatchLog\ERROR_001" + i.ToString() + ".txt", True)
                    a_sErrMsg += "
这里写抛出的警告信息" + vbCrLf + vbTab
                    
                End If
            Next
            
            Return True
        Catch ex As Exception
            a_sErrMsg += ex.ToString()
            ms_BatchLogMsg = ex.Message 
            Return False
        End Try
    End Function
分享到:
评论

相关推荐

    oracle sql loader全攻略

    ### Oracle SQL Loader全攻略知识点详解 #### 一、SQL Loader的特点与应用场景 Oracle SQL Loader作为Oracle数据库的一个重要组成部分,主要用于将外部数据加载到Oracle数据库中。与其他数据迁移工具相比,SQL ...

    oracle sql loader 用法详解

    ### Oracle SQL Loader 用法详解 Oracle SQL Loader是一款强大的数据加载工具,被广泛应用于将大量数据从操作系统文件导入到Oracle数据库中。对于大型数据仓库项目,SQL Loader因其提供的高速加载方式(如Direct ...

    oracle SQL Loader使用实例

    Oracle SQL Loader 使用实例 Oracle SQL Loader 是一种强大的数据导入工具,允许用户从文本文件或其他数据源中导入数据到 Oracle 数据库中。本文将详细介绍 Oracle SQL Loader 的使用实例,包括建立文本文件、编写...

    ORACLE SQL Loader

    Oracle SQL*Loader是一款强大的数据加载工具,用于快速将大量数据导入到Oracle数据库中。它能够从各种格式的外部文件中批量加载数据,极大地提高了数据库管理的效率。在本篇文章中,我们将深入探讨SQL*Loader的工作...

    Oracle SQL Loader的详细语法

    ### Oracle SQL Loader 的详细语法与应用 #### 一、概述 SQL*Loader 是 Oracle 提供的一款强大而灵活的数据加载工具,主要用于将操作系统中的文件数据批量导入到 Oracle 数据库中。相较于其他数据库系统的加载工具...

    关于 Oracle 的数据导入导出及 Sql Loader (sqlldr)

    Sql Loader(SQL*Loader)是Oracle提供的一种高效的数据加载工具,可以快速将数据从外部文件加载到数据库表中。在本篇中,我们将深入探讨Oracle的数据导入导出及Sql Loader的使用方法。 1. **Oracle数据导入导出** ...

    oracle sqlloader使用指南

    Oracle SQL*Loader 是一个强大的工具,用于快速地将大量数据从外部文件批量导入到Oracle数据库中。这个工具提供了多种选项和灵活性,使得数据装载过程能够适应各种不同的数据格式和需求。下面我们将深入探讨如何使用...

    Oracle sqlloader使用指南

    Oracle SQL*Loader 是一款强大的数据导入工具,用于将外部数据高效地加载到Oracle数据库中。与DB2的Load工具相比,SQL*Loader提供了更多灵活性,包括多种加载模式、选择性加载以及多表加载功能。 使用SQL*Loader时...

    oracle sqlloader使用指南.doc

    Oracle SQL*Loader是Oracle数据库系统提供的一个强大工具,用于快速高效地从外部数据文件批量导入数据到数据库中。它的灵活性和可配置性使得用户可以根据不同的数据格式和需求进行定制化的数据加载。 首先,使用SQL...

    oracle -sqlloader使用方法

    ### Oracle SQL*Loader 使用方法详解 #### 一、SQL*Loader 概览 SQL*Loader 是 Oracle 数据库中用于批量导入外部数据至数据库的强大工具。它不仅具备与 DB2 Load 工具类似的功能,还提供了更为灵活的加载选项,...

    SQL*Loader 向oracle数据库批量添加数据 .ctl文件 使用方式详见文章

    与.bat脚本配合使用 load data infile 'C:\Users\yilin\Desktop\abc.txt'  append into table FJH_TMP fields terminated by " " (A)

    Oracle数据库使用SQL_Loader导入外部数据的方法详解

    Oracle数据库使用SQL_Loader导入外部数据的方法详解,详细讲解 sqlldr的使用

    SQL loader and oracle sql study

    在IT领域,数据库管理和数据加载是至关重要的任务,SQL Loader(也称为Oracle SQL*Loader)是Oracle数据库系统中用于快速批量导入大量数据到数据库表的一个强大工具。这篇博客"SQL loader and oracle sql study"深入...

    利用sqlloader将 excel 数据导出到 oracle 数据库中.rar

    `SQLLoader`是Oracle数据库提供的一种高效的数据加载工具,它能够快速地将大量数据从外部文件(如CSV、固定宽度文件或Excel文件)导入到Oracle数据库中。本教程将详细介绍如何使用SQLLoader将Excel数据导出到Oracle...

    sqlloader详解

    SQL*Loader是Oracle数据库系统中一个强大而灵活的工具,其主要功能是从各种外部数据源批量导入数据到Oracle数据库。随着现代数据库规模的不断扩大,从GB级扩展到TB级乃至更大,SQL*Loader的重要性日益凸显,因为它能...

    sql loader用法小记

    SQL Loader是Oracle数据库系统中的一个实用工具,用于批量导入数据到数据库中,它极大地提高了数据加载的效率。这篇“sql loader用法小记”可能是博主对SQL Loader使用经验的总结和分享,虽然描述中没有具体信息,但...

    SQL LOADER错误小结

    SQL*Loader是一个Oracle数据库提供的工具,用于高效地从平面文件批量导入数据。以下是一些常见错误的总结及其解决方案: 1. **编码错误导致的乱码问题**: 当在SQL*Loader中加载包含中文字符的数据时,如果字段...

    sqlloader数据导入详解

    SQL*Loader 是 Oracle 数据库下用于数据导入的一种重要工具,它由 Oracle 客户端提供。此工具支持多种数据格式,能够高效地将外部文件中的数据加载到 Oracle 数据库表中。SQL*Loader 的强大之处在于其灵活性和效率,...

    Sql Loader 在C#的应用实例

    Sql Loader 是 Oracle 数据库提供的一种批量数据加载工具,主要用于快速高效地将大量数据从文本文件导入到数据库表中。在 C# 开发环境中,我们可以通过操作系统级别的交互来调用 Sql Loader,实现数据的批量导入。在...

Global site tag (gtag.js) - Google Analytics