`
zhb8015
  • 浏览: 396570 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
Group-logo
Spring Roo杂谈
浏览量:0
社区版块
存档分类
最新评论

sql load 简单案例

阅读更多
某用户业务日志有400多万条,需要迁移到我们系统中,由于时间要求紧张,决定先用程序生成符合格式的数据文件,再用oralce 的sqlload 装入数据到数据库中.试验结果300M(400万条) 文本文件导入到oracle 中,经生成数据文件耗时2分钟,sqlload 装入耗时4分钟.效果非常好.
 
表结构

RZB
 
DZTM                                               VARCHAR2(30)
DCTM                                               VARCHAR2(30)
CZY                                                VARCHAR2(20)
CZRQ                                               DATE
CZLXDM                                             VARCHAR2(8)
LYB                                                VARCHAR2(12)
 
控制文件
c.trl
 
LOAD   DATA  
  INFILE   'ss.txt'  
  APPEND INTO   TABLE   RZB  
  FIELDS   TERMINATED   BY   ','
  (
  DZTM   CHAR,  
  DCTM   CHAR,  
  CZRQ   DATE   "YYYY-MM-DD   HH24:MI:SS",
  CZLXDM   CHAR,  
  LYB   CHAR,  
  CZY   CHAR
  )
 
测试数据文件
ss.txt
 
01412401,A0019889,2000-07-10 00:00:00,WJ,gkdcb,yl1
01412401,A0019889,2000-07-12 00:00:00,HH,gkdcb,yl1
01412401,A0019889,2000-07-10 00:00:00,WJ,gkdcb,yl1
01412401,A0019889,2000-07-12 00:00:00,HH,gkdcb,yl1
T0000065,A0108899,2000-07-12 00:00:00,WJ,gkdcb,yl1
T0000065,A0108899,2000-08-12 00:00:00,HH,gkdcb,yl1
01412439,A0107636,2000-07-12 00:00:00,WJ,gkdcb,yl1
01412439,A0107636,2000-07-12 00:00:00,HH,gkdcb,yl1
98115338,A0108899,2000-07-13 00:00:00,WJ,gkdcb,yl1
98115338,A0108899,2000-07-13 00:00:00,HH,gkdcb,yl1
t0000063,A0044145,2000-09-07 00:00:00,WJ,gkdcb,yl1
t0000063,A0044145,2000-10-08 00:00:00,HH,gkdcb,yl1
s0006431,A0044145,2000-09-08 00:00:00,WJ,gkdcb,yl1
s0006431,A0044145,2000-09-10 00:00:00,HH,gkdcb,yl1
 
批处理文件

b.bat

sqlldr userid=test/test@glis control=t.ctl direct=true
 
分享到:
评论

相关推荐

    SQL Server 2005 BI综合案例系列课程

    《SQL Server 2005 BI综合案例系列课程》是一门深入探讨SQL Server 2005商业智能(BI)解决方案的课程。SQL Server 2005在BI领域提供了强大的工具集,包括数据仓库、数据集成服务、分析服务和 Reporting Services。...

    sqlloader的成功案例

    SQL*Loader的成功案例不仅展示了其高效的数据加载能力,还体现了它在处理大量数据时的灵活性与可靠性。本文将根据提供的文件信息,深入探讨SQL*Loader的应用场景、配置过程以及实施步骤,旨在为读者提供一个全面理解...

    从SQLServer迁移大批量数据到Oracle

    2. **执行 Sqlload 命令**: 根据创建好的控制文件执行 Sqlload 命令,完成数据导入。 #### 总结 通过对 SQL Server 到 Oracle 的大批量数据迁移过程的详细分析,我们可以看出,合理利用 Microsoft DTS 和 Oracle ...

    SQL LOADER错误小结

    在使用SQL*Loader进行数据加载时,我们可能会遇到多种错误情况。SQL*Loader是一个Oracle数据库提供的工具,...随着更多案例的积累和学习,对于SQL*Loader的理解和应用将会更加熟练,进一步提升数据导入的效率和准确性。

    sqlserver经典动手实训,让你从入门到精通

    11. **Integration Services (SSIS)**:用于数据集成、转换和加载,常用于ETL(Extract, Transform, Load)过程。 12. **Analysis Services (SSAS)**:提供多维数据模型和数据挖掘功能,用于商业智能分析。 通过本...

    从mysql数据库迁移至sqlserver数据库

    本案例中,我们关注的是从MySQL数据库向SQL Server数据库的迁移过程,这涉及到多个关键知识点。 首先,MySQL和SQL Server是两种不同的关系型数据库管理系统(RDBMS),它们之间存在一些语法和数据类型的差异。MySQL...

    SQL Server 2005 BI综合案例系列课程(2):财务管理高级分析建模

    在本课程"SQL Server 2005 BI综合案例系列课程(2):财务管理高级分析建模"中,我们将深入探讨如何利用SQL Server 2005的商业智能(BI)功能来构建复杂的财务分析模型,以提升企业决策效率。这门视频教程旨在帮助IT...

    SQL Server 2008 Integrate Service 基础开发案例系列课程(2)

    本课程的压缩包文件中可能包含了实际的SSIS项目文件,通过这些案例,你可以学习如何设置数据源连接,定义数据流路径,以及应用各种转换,如Derived Column(派生列)、Lookup(查找)和Aggregations(聚合)等。...

    SQL Server 2005 BI系列课程(2):基于SQL SERVER 2005 BI平台实现商务智能过程

    SQL Server 2005作为微软提供的数据库管理系统,具有强大的BI功能,包括ETL(Extract, Transform, Load)、OLAP(在线分析处理)和数据报表服务等。 课程可能涵盖以下关键知识点: 1. **数据仓库设计**:介绍如何...

    SQL Server 2005 BI综合案例系列课程(10):企业调查报告的实时分析与处理

    在本课程中,“SQL Server 2005 BI综合案例系列课程(10):企业调查报告的实时分析与处理”主要聚焦于如何利用SQL Server 2005的商业智能(BI)功能来实现对企业的调查数据进行高效、实时的分析。这个课程可能涵盖了...

    SQL server 0基础 学习

    通过上述知识点的学习,结合提供的教学视频和案例文件,你将能够逐步建立起对SQL Server的全面认识,从而顺利入门数据库管理和开发。记住,实践是检验知识掌握程度的最好方式,不断练习编写SQL语句、操作数据库和...

    Hibernate简单案例

    通过这个简单的案例,你可以了解如何在实际项目中应用 Hibernate,包括设置配置、定义实体类、执行 CRUD 操作等基本步骤。随着对 Hibernate 的深入学习,你会发现更多的高级特性,如二级缓存、关联映射、性能优化等...

    Sql数据库导入或导出txt文件

    在本案例中,我们关注的是如何使用Visual Studio 2008(VS2008)来处理SQL数据库与TXT文本文件之间的数据交换。这个过程通常涉及到数据导入和导出,这对于数据分析、备份、迁移或者格式转换等场景非常实用。以下我们...

    excel转sql语句

    在IT行业中,Excel和SQL是两种非常重要的工具。Excel用于数据管理和分析,而SQL...在实际工作中,还可以结合ETL(Extract, Transform, Load)工具,如Apache Nifi或Python的pandas库,实现更复杂的转换和加载任务。

    全国省市区街道地址sql.zip

    在本案例中,SQL文件存储了中国行政区域的层次结构,包括省、市、区、街道等信息,可以通过SQL查询语句进行检索和操作。 2. 表结构设计:数据通常会按照特定的表结构组织,比如一个"province"表存储省级信息,"city...

    sql server 注入 sqli_bitbybit

    本文档介绍了一个具体的案例,即通过“bit by bit”的方式来进行SQL注入攻击。这种方法在特定场景下尤其有效,尤其是在目标系统对输入数据缺乏足够过滤的情况下。 #### 理解注入过程 在这个案例中,攻击目标是一个...

    Oracle SQL加载器:权威指南(2002)

    控制文件中的LOAD语句用于指定加载过程的参数和选项,而命令行参数则可以在控制文件中使用,以便于灵活配置加载过程。 字段规格(Field Specifications)和数据类型(Data Types)是定义如何将数据源中的数据映射到...

Global site tag (gtag.js) - Google Analytics