`
luogen33
  • 浏览: 82200 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

oracle的文本导入、导出技巧

阅读更多
在使用oracle时,总觉得oracle的导入,导出没有informix的load,unload好用,没办法,只能参照网上朋友的思路和informix的实现,写了几个脚本,希望各位高手指点:
  
  =============================================
  
  工具用法:
  unload.sh
  Usage: unload.sh userid/passwd[@oraclesid] [tabname]
  注释:
  如果不加’@oraclesid’,则用当前环境变量ORACLE_SID。
  如果不加tabname参数,则处理该用户下的所有表,生成’表名.unl’文件。
  如果加tabname参数,则单独处理该表,生成’表名.unl’文件。
  load.sh
  Usage: load.sh userid/passwd[@oraclesid] [tabname]
  注释:
  如果不加’@oraclesid’,则用当前环境变量ORACLE_SID。
  如果不加tabname参数,则装载该用户下的所有表,必须存在’表名.unl’
  文件。
  如果加tabname参数,则单独处理该表,必须存在’表名.unl’文件。
  
  =============================================
  
  具体实现:
  unload.sh
  利用spool的功能,将表中的数据导出到对应的文本中。
  load.sh
  利用sql*load的功能,将文本中的数据导入到表中。
  控制文件是自动生成的,使用者不需要知道格式
  执行sqlload的脚本也是自动生成
  generate_control_file.sh
  生成控制文件
  generate_execute_shell.sh
  生成执行脚本
  
  =============================================
  代码说明
  load.sh
  #!/usr/bin/ksh
  #########################################
  #
  # 模块: load.sh
  #
  # 描述: 根据一个数据库或表名来装载对应的数据文件
  #
  # 参数 1 = 用户名/密码[@实例名]
  # 参数 2 = 表名(可选)
  #
  # 作者 Bing He
  #
  # 修改记录
  # 日期 修改人 修改描述
  #
  # 09/23/2003 Bing He 开始编写
  #
  ###########################################
  
  lv_temp1="wk.test1"
  
  f_get_tables()
  {
  rm -f ${lv_temp1}
  sqlplus ${userid} </dev/null
  set colsep $sep;
  set echo off;
  set feedback off;
  set heading off;
  set pagesize 0;
  set linesize 1000;
  set numwidth 12;
  set termout off;
  set trimout on;
  set trimspool on;
  spool ${lv_temp1};
  select table_name from user_tables;
  spool off;
  exit
  !
  if [ "$?" -ne 0 ]
  then
  echo "Error:sqlplus ${userid} error in load for ${userid} !"
  echo "please check userid and passwd or oracle_sid."
  exit
  fi
  
  if [ -f ${lv_temp1} ]
  then
  lv_tables=`cat ${lv_temp1} |grep -v "^SQL>" | tr -d ' '`
  else
  echo "Error:${lv_temp1} file not found!"
  exit
  fi
  
  rm -f ${lv_temp1}
  
  }
  
  ######################################
  ## 主程序入口
  
  lv_no=$#
  
  case ${lv_no} in
  1 )
  userid=$1
  f_get_tables;
  ;;
  2 )
  userid=$1
  lv_tables=$2
  ;;
  * )
  echo "Usage: $0 "
  exit
  ;;
  esac
  
  for lv_table in ${lv_tables}
  do
  if [ ! -f ${lv_table}.unl ]
  then
  echo "Error:${lv_table}.unl file not found!"
  else
  generate_control_file.sh ${userid} ${lv_table}
  generate_execute_shell.sh ${userid} ${lv_table}
  sh load_${lv_table}.sh
  rm -f ${lv_table}.ctl
  rm -f load_${lv_table}.sh
  fi
  done
  
  ##########################################  
  unload.sh
  #!/usr/bin/ksh
  #############################################
  #
  # 模块: unload.sh
  #
  # 描述: 根据一个数据库或表名来卸载数据并生成对应的数据文件
  #
  # 参数 1 = 用户名/密码[@实例名]
  # 参数 2 = 表名(可选)
  #
  # 作者 Bing He
  #
  # 修改记录
  # 日期 修改人 修改描述
  #
  # 09/23/2003 Bing He 开始编写
  #
  ##########################################
  
  lv_sep='|' # --分隔符,可以修改成自己想要的分隔符,如'|'
  lv_temp1="unload.temp1"
  
  f_get_tables()
  {
  rm -f ${lv_temp1}
  sqlplus ${userid} </dev/null
  set colsep ${lv_sep};
  set echo off;
  set feedback off;
  set heading off;
  set pagesize 0;
  set linesize 1000;
  set numwidth 12;
  set termout off;
  set trimout on;
  set trimspool on;
  spool ${lv_temp1};
  select table_name from user_tables;
  spool off;
  exit
  !
  if [ "$?" -ne 0 ] ; then
  echo "sqlplus $userid error in get table name <"$?">!!"
  echo "please check userid and passwd or database."
  exit
  fi
  
  if [ -f ${lv_temp1} ]
  then
  lv_tables=`cat ${lv_temp1} |grep -v "^SQL>" | tr -d ' '`
  else
  echo "Error:${lv_temp1} file not found!"
  exit
  fi
  rm -f ${lv_temp1}
  
  }
  
  ########################################
  ## 主程序入口
  lv_no=$#
  
  case ${lv_no} in
  1 )
  userid=$1
  f_get_tables;
  ;;
  2 )
  userid=$1
  lv_tables=$2
  ;;
  * )
  echo "Usage: $0 "
  exit
  ;;
  esac
  
  ##############################
  
  ###############################
  ## 执行下载操作
  
  for table in ${lv_tables}
  do
  rm -f lv_$table.txt
  sqlplus ${userid} </dev/null
  set colsep ${lv_sep};
  set echo off;
  set feedback off;
  set heading off;
  set pagesize 0;
  set linesize 1000;
  set numwidth 12;
  set termout off;
  set trimout on;
  set trimspool on;
  spool lv_$table.txt;
  select * from $table;
  spool off;
  !
  if [ "$?" -ne 0 ]
  then
  echo "error:sqlplus $userid error in unload table $table!!"
  echo "please check userid and passwd or database."
  exit
  fi
  
  if [ -f lv_$table.txt ]
  then
  cat lv_$table.txt | grep -v "^SQL>"|sed -e "s/ *$//g"|sed "s/$/\|/g"|sed -e "s/ *\|/\|/g" >${table}.unl
  if [[ `grep "ORA-" $table.unl` = "" ]]; then
  echo "unload table ${table}....\t\t\t\t\t ok"
  else
  cat ${table}.unl
  err="$err ${table}"
  fi
  else
  echo $0 error
  fi
  rm -f lv_$table.txt
  done
  
  #########################################束操作
  
  if [[ "X$err" = "X" ]];then
  echo "Unload Complete!,Thank you!"
  else
  echo "Unload Table $err error, please check it!"
  fi
  
  ############################################
  
  generate_control_file.sh
  #!/usr/bin/ksh
  ############################################
  #
  # 模块: generate_control_file.sh
  #
  # 描述: 根据一个表名生成该表的控制文件
  #
  # 参数 1 = 用户名/密码[@实例名]
  # 参数 2 = 表名
  #
  # 作者 Bing He
  #
  # 修改记录
  # 日期 修改人 修改描述
  #
  # 09/23/2003 Bing He 开始编写
  #
  ##############################################
  
  ##############################################
  ## 主程序入口
  
  if [ ! $# -eq 2 ]
  then
  echo "Usage: $0 "
  exit
  else
  userid=$1
  table=$2
  fi
  
  ###########################################
  
  ###########################################
  ## 执行下载操作
  
  lv_temp="wk_${table}.test"
  lv_temp1="wk_${table}.test1"
  lv_temp2="wk_${table}.test2"
  lv_control="${table}.ctl"
  
  sqlplus ${userid} </dev/null
  spool ${lv_temp};
  desc ${table}
  spool off;
  exit
  !
  if [ "$?" -ne 0 ]
  then
  echo "Error:sqlplus ${userid} error in generate control file for table ${table} !"
  echo "please check userid and passwd or oracle_sid."
  exit
  fi
  
  if [ -f ${lv_temp} ]
  then
  cat ${lv_temp}|grep -v "^SQL>" |grep -v " Name " |grep -v " -------" |awk '{print $1}' > ${lv_temp1}
  lv_line_num=`cat ${lv_temp1} | wc -l`
  lv_line_num=`expr ${lv_line_num} - 2`
  lv_index=0
  
  rm -f ${lv_temp2}
  for lineinfo in `cat ${lv_temp1}`
  do
  if [ ${lv_index} -eq ${lv_line_num} ]
  then
  echo "${lineinfo}" >> ${lv_temp2}
  else
  echo "${lineinfo}," >> ${lv_temp2}
  lv_index=`expr ${lv_index} + 1`
  fi
  done
  else
  echo "$0 error :not find ${lv_temp} file."
  exit
  fi
  
  lv_str="LOAD DATA INFILE '${table}.unl' BADFILE 'bad_${table}.bad' APPEND INTO TABLE ${table} FIELDS TERMINATEd BY \"|\""
  echo ${lv_str} > ${lv_control}
  echo "(" >> ${lv_control}
  cat ${lv_temp2} >> ${lv_control}
  echo ")" >> ${lv_control}
  
  rm -f ${lv_temp}
  rm -f ${lv_temp1}
  rm -f ${lv_temp2}
  
  #########################################
  
  generate_execute_shell.sh
  #!/usr/bin/ksh
  #########################################
  #
  # 模块: generate_execute_shell.sh
  #
  # 描述: 根据一个表名生成该表的装载脚本
  #
  # 参数 1 = 用户名/密码[@实例名]
  # 参数 2 = 表名
  #
  # 作者 Bing He
  #
  # 修改记录
  # 日期 修改人 修改描述
  #
  # 09/23/2003 Bing He 开始编写
  #
  ########################################
  
  #######################################
  ## 主程序入口
  
  if [ ! $# -eq 2 ]
  then
  echo "Usage: $0 "
  exit
  else
  userid=$1
  table=$2
  fi
  
  ########################################
  
  ########################################
  ## 局部变量定义区域
  
  lv_rows=10000
  lv_bindsize=8192000
  lv_readsize=8192000
  
  #########################################
  
  #########################################
  ## 生成执行脚本文件
  
  echo "sqlldr ${userid} control=${table}.ctl rows=${lv_rows} bindsize=${lv_bindsize} readsize=${lv_readsize} log=log_${table}.log bad=bad_${table}.bad direct=true" > load_${table}.sh
分享到:
评论

相关推荐

    oracle文本导入导出工具-ozoradts

    Import采用直接路径方式,等同于sqlldr的Direct方式导入(DIRECT=TRUE),nolog参数等同于sqldr的UNRECOVERABLE参数 ozoradts -exp userid=test/test@oradb columnover=";" query="select * from fct_serv_product_...

    通过PLSQL的进行oracle数据库导入导出

    【PL/SQL Developer 导入导出Oracle数据库详解】 在Oracle数据库管理中,高效的数据导入导出是确保数据安全和快速恢复的关键。PL/SQL Developer是一款强大的Oracle数据库开发工具,它提供了便捷的数据导出和导入...

    Oracle导入和导出工具使用

    #### 一、Oracle导入导出工具简介 Oracle数据库提供了两种强大的工具来处理数据的导入导出需求:`exp.exe` 和 `imp.exe`。这两种工具位于`Oracle_home/bin`目录下,适用于各种场景下的数据迁移任务。 - **exp.exe*...

    ORACLE数据导入导出-操作手册.docx

    ### Oracle 数据库数据导入导出操作手册解析 #### 手册概述 该操作手册由中科软科技股份有限公司于2019年5月发布,旨在指导数据处理人员如何正确地使用Oracle数据库进行数据导入与导出操作。手册不仅包含了具体的...

    oracle数据导入导出FTP

    这里提到的"高性能的oracle文本处理器"和"sqlload"是指Oracle的SQL*Loader工具,它是一个高效的数据加载程序,能够快速地将大量数据从文本文件批量导入到Oracle数据库中。 **Oracle SQL*Loader基础** SQL*Loader是...

    Oracle数据导入导出impexp.txt

    - 使用 `parfile` 参数可以加载包含多个导入导出参数的文本文件,便于复杂操作的执行。 #### 五、实例演示 下面是一个实际操作的例子,展示了如何使用 `imp` 命令导入数据: ``` imp userid=test/test full=y ...

    Oracle大数据量数据导入导出示例

    ### Oracle大数据量数据导入导出的关键知识点 #### 一、Oracle大数据量数据导出操作 在Oracle数据库中,处理大数据量的数据导出通常涉及到优化查询性能、减少资源消耗以及确保数据完整性等方面。以下是对给定文件...

    Mysql to Oracle导入导出说明

    总的来说,从MySQL到Oracle的数据迁移涉及多个步骤,包括数据导出、转换、导入以及各种兼容性问题的处理。合理选择工具和策略,能有效保证迁移过程的顺利进行。在实际操作中,应结合具体情况进行详细规划和测试,以...

    Oracle数据库导入导出方法

    Oracle数据库的导入导出是数据库管理中常见的操作,主要用于数据迁移、备份恢复或者数据库环境间的同步。Oracle提供了多种工具来实现这一目标,如SQL*Loader、exp和imp等。下面我们将详细探讨这些方法。 首先,SQL*...

    照片批量导入导出

    在IT行业中,照片批量导入导出是一项常见的任务,特别是在数据管理、媒体库建设或网站维护等领域。本场景涉及的关键技术主要是数据库操作、图像处理以及批处理能力。以下将详细阐述这些知识点: 1. **Oracle数据库*...

    数据导入导出两个技巧

    本文将详细介绍两种高效的数据导入导出技巧,特别是在Oracle数据库环境下。 1. **导出DMP增加条件** Oracle的Data Pump(DMP)是一种快速、高效的导出工具,它可以将数据库对象及其数据导出到二进制文件中。当...

    PROC++批量导入导出ORACLE数据库表[借鉴].pdf

    PROC++批量导入导出ORACLE数据库表 本文档主要介绍了使用PROC++批量导入导出ORACLE数据库表的方法。该方法使用C++ Builder 5.5和PROC++语言,实现了从ORACLE数据库中批量导入和导出数据的功能。 一、预备工作 在...

    sqlserver2005和oracle之间的导入导出

    本文将详细介绍如何在Oracle数据库和SQL Server 2005之间进行数据的导入导出操作,即数据的共享过程。这包括了从Oracle导出数据到SQL Server 2005,以及反向的数据迁移。 #### 数据迁移背景 数据迁移通常涉及到两...

    Oracle导入导出xls[归纳].pdf

    Oracle数据库的导入导出操作是数据库管理中的常见任务,尤其在数据迁移、备份或数据分析时。本文将详细讲解如何在Oracle环境中将数据导出到Excel(.xls)格式,以及如何从Excel或文本文件导入数据到Oracle数据库。 ...

    oracle 导入导出命令.txt

    ### Oracle 导入导出命令详解 #### 一、概述 在Oracle数据库管理与维护过程中,数据的导入导出是一项非常重要的操作。Oracle提供了多种工具和技术来实现这一目标,其中最为常用的便是`exp`(Export)和`imp`...

Global site tag (gtag.js) - Google Analytics