`
aijuans
  • 浏览: 1558283 次
社区版块
存档分类
最新评论

用spool+unixshell生成文本文件的方法

    博客分类:
  • pdf
 
阅读更多

例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下:

  set pages 50000;

  set lines 200;

  set trims on;

  set heading off;

  spool /oracle_backup/log/test/dept.lst;

  select deptno||','||dname||','||loc from scott.dept;

  spool off;

  但是生成的文本文件头和尾里含有不需要的空行和提示信息(虚线里面是生成文本文件的详细内容):

  10,ACCOUNTING,NEW YORK

  20,RESEARCH,DALLAS

  30,SALES,CHICAGO

  40,OPERATIONS,BOSTON

  50,MARKETING,FOTTH WORTH

  60,HEAD,Amercia

  6 rows selected.

  我请教了kane,他写出来的del_head_tail_line.sh可以把文件头尾的行去掉,并生成新文件:

  #!/bin/sh

  #第一个参数是要处理的文件名

  #第二个参数是文件头要去掉的行数

  #第三个参数是文件尾要去掉的行数

  #第四个参数是要输出的文件名

  #created by kane@geeyo.com

  lines=`wc -l $1 | awk '{print $1}'`

  taillines=`expr $lines - $2`

  tail -$taillines $1 > $1.tmp

  headlines=`expr $taillines - $3`

  head -$headlines $1.tmp > $4

  rm $1.tmp

  我们执行下面命令,就可以把不符合要求的行去掉,生成新文件1.txt

  $./del_head_tail_line.sh dept.lst 1 3 1.txt

  这样就解决了文本文件格式的问题.

  具体应用举例:

  因为工作需要,我经常要把一个小时或者一个星期变动过的数据生成文本文件上传到各个地区.

  借用上面的方法, 我只需要写几个sql语句+ unix shell程序,配合OS定时就可以自动来完成这些工作:

  第一步: 写好用来生成文本文件的SQL语句(假设是/oracle_backup/bin/test.sql)

  提示1: 如果有几个不同的查询条件,可以把两个查询结果用union all合并起来生成一个结果集

  提示2: Tab键的ascii码是char(9)

  第二步: 写好UNIX OS调用test.sql的脚本gen_test.sh

  su - oracle-c "sqlplus username/password"<

  @/oracle_backup/bin/test.sql;

  exit

  第三步: 删除文本文件头和尾的空行, 生成符合要求的文本文件gen_test_file.sh

  提示1: 我生成的结果文本文件的头和尾增加了有效记录的行数

  提示2: 生成的文本文件名含有年月日小时的信息

  cd /oracle_backup/log/test

  rm 1.txt 2.txt

  /oracle_backup/bin/del_head_tail_line.sh dept.lst 1 3 1.txt

  CDAY=`date +%Y%m%d%H`;export CDAY

  cat 1.txt|wc|awk '{print $1}'>2.txt

  cat 2.txt>english_companyname_$CDAY.txt

  cat 1.txt>>english_companyname_$CDAY.txt

  cat 2.txt>>english_companyname_$CDAY.txt

  第四步: 生成FTP传文件的脚本ftp_test.sh

  提示1: /oracle_backup/log/test/log/目录下记录了上传文件前后的时间差,是上传日志

  提示2: 下面例子里FTP服务器目的地址为默认的/目录,如果要传到子目录,可以在/后添加子目录名

  CDAY=`date +%Y%m%d%H`;export CDAY

  cd /oracle_backup/log/test/

  chmod 777 *.txt

  date>/oracle_backup/log/test/log/ftp_test_$CDAY.log

  ftp -i -n 192.168.0.253 <

  user username password

  bin

  put /oracle_backup/log/test/english_companyname_$CDAY.txt /english_companyname_$CDAY.txt

  quit

  FTPIT

  date>>/oracle_backup/log/test/log/ftp_test_$CDAY.log

  第五步: 设定unix root用户的定时操作

  Sun Solaris 文件 /var/spool/cron/crontabs/root

  Linux 文件 /var/spool/cron/root

  例如每小时执行一次:

  3 0-23 * * * /oracle_backup/bin/gen_test.sh

  5 0-23 * * * /oracle_backup/bin/gen_test_file.sh

  8 0-23 * * * /oracle_backup/bin/ftp_test.sh

  重新启动unix OS的定时服务,使新添加的任务生效 Sun Solaris

  #/etc/rc2.d/S75cron stop

  #/etc/rc2.d/S75cron start

  Linux

  #/etc/rc.d/init.d/crond restart

  注意事项:

  unix shell脚本都应该有755的可执行权限.

  超过50000行的文件,会在每50000行的分隔处多出一个空行;

  如果这样的格式不合要求,可以再写一个unix shell重写文件,遇到空行时去掉空行.

  结束语:

  这里看似简单的方法却能实现很多复杂的功能, 希望对大家有所启发.

 

更多详细信息请查看  java基础知识 http://www.itchm.com/cainiao/java_basic/

分享到:
评论

相关推荐

    Another+Filament+Spool+Holder_python_

    标题中的"Another Filament Spool Holder" 暗示了这是一个关于3D打印领域中用于存储线材(filament)的装置,而“Python”则表明实现这一功能的代码是用Python编程语言编写的。描述中的 "HELO MI NAME IS PANCHO ...

    oracle导出txt文件方法

    Oracle 导出 txt 文件方法是指使用 spool 命令将 Oracle 数据库中的数据导出到 txt 文件中。这种方法可以自定义导出格式,以便于程序直接导入。 首先,我们需要了解 Oracle 文本导出的原理。Oracle 文本导出的原理...

    打印信息获取(分析SPOOL文件)

    每一个打印任务在发送给打印机前都会将任务压缩成制定文件(SHD, SPL)一...这里提供了可以解析spool的工具以及根据其方法自己编写的解析spool文件的示例代码,虽然不是很全面,但是只要看明白,剩下的均可自己实现。

    windows和unix下通过spool导出oracle数据(导成insert语句)

    本文将详细讲解如何在Windows和Unix环境下利用SQL*Plus的`spool`命令来导出Oracle数据库中的数据,并将其转换为INSERT语句或纯文本格式。 `spool`是SQL*Plus的一个内置命令,它允许用户将SQL*Plus会话的输出重定向...

    Oracle数据库导出文本的方法

    Oracle 数据库导出文本的方法可以使用 Spool 缓冲池技术实现,该方法可以将数据库中的内容导出到文本文件中,以便于后续处理或分析。在实际应用中,我们需要根据实际情况选择合适的导出方法,以实现数据的高效传输和...

    spool oracle数据导出

    下面我们将深入探讨Spool在Oracle中的使用,包括其基本概念、如何通过SQL*Plus使用Spool,以及结合Java代码进行数据导出的方法。 一、Spool的基本概念 Spool是操作系统中的一个术语,指的是将数据暂时存储在磁盘上...

    UNIX Shell编程(上中下)

    ### UNIX Shell编程基础详解 #### 一、Shell概念与作用 在UNIX系统中,Shell扮演着用户与操作系统之间的重要桥梁角色。它不仅提供了一个命令行界面供用户输入指令,还负责解释并执行这些指令,从而使得用户能够...

    自动生成数据shell脚本

    ### 自动生成数据Shell脚本详解 #### 脚本功能概述 本文档将详细解析一个用于自动生成数据的Shell脚本。此脚本主要用于在Oracle数据库中创建并插入指定数量的数据记录到特定表中。通过定义一系列参数,脚本能够自动...

    关于spool 和 sqlldr 的实例代码

    在提供的压缩包文件`spool和sqlldr实例`中,你可能找到了一个具体的Shell脚本,该脚本演示了如何结合使用这两个工具。这个脚本可能包含了以下几个部分: 1. 初始化环境,如设置Oracle环境变量。 2. 使用Spool将SQL...

    测试中可以一用的命令spool

    例如,你可能使用`spool`来收集和整理开发过程中生成的日志,或者是将数据库脚本的执行结果与源代码版本控制系统(如Git)集成。 在压缩包文件“个股资料”中,虽然没有具体的文件内容信息,但可以猜测这可能包含了...

    sqlldr自动生成控制文件导入到表

    SQL*Loader(简称sqlldr)是Oracle数据库提供的一款强大的数据加载工具,用于将文本文件中的数据高效地导入到数据库表中。在这个过程中,通过自动生成控制文件,可以实现自动化导入,甚至达到备份的目的。以下是对这...

    oracle sqlplus 中spool 的使用

    其中,`spool`命令是SQLPlus中的一个重要特性,它允许用户将SQL查询结果或命令输出到指定的文件中,这对于批量处理、数据备份或生成报告等工作非常有用。 #### 一、Spool命令基本用法 1. **启动Spool文件**:使用`...

    spool导出与sqlldr导入

    使用spool可以方便地生成报告、备份查询结果或者在没有终端访问的情况下执行脚本。基本语法如下: ```sql SPOOL filename [REPLACE | APPEND] ``` - `filename`:指定要保存输出的文件名。 - `REPLACE`:如果文件已...

    Oracle9i spool续写实例

    Oracle的Spool功能是数据库管理员和开发人员常用的一种工具,用于将SQL查询结果或PL/SQL块的输出重定向到文本文件中,而非在屏幕显示。在Oracle 10g及更高版本中,Spool引入了`CREATE`, `REPLACE`, 和 `APPEND` 参数...

    oracle spool

    4. **关闭Spool**:完成查询后,使用`spool off`关闭输出到文件的功能。 - `spool off` #### 四、Shell脚本示例 在实际生产环境中,Spool命令通常会集成到Shell脚本中,以实现自动化的数据导出。以下是一个简单的...

    如何把ORACLE的查询结果输出成TXT文件

    使用 `spool` 命令和 `select` 语句可以将查询结果导出成 CSV 文件。例如,`spool c:\test.csv; select '"'||VARNAME||'"'||','||'"'||VARTYPE||'"'||','||'"'||VARVALUE||'"' from sys_var; spool off` 将输出查询...

    UNIX环境高级编程

    文件中提到了UNIX文件系统中的重要文件和目录,比如/etc/passwd(用户信息文件)、/home(用户主目录)、/bin(存放基本命令的目录)、/dev(设备文件目录)、/var/spool/mqueue(消息队列目录)等。 3. 文件访问...

    Linux/Unix shell 脚本中调用SQL,RMAN脚本

    Linux/Unix shell脚本中调用或执行SQL,RMAN 等为自动化作业以及多次反复执行提供了极大的便利,因此通过Linux/Unix shell来完成Oracle的相关工作,也是DBA必不可少的技能之一。本文针对Linux/Unix shell脚本调用sql...

    Oracle_spool_用法详解

    为了更好地理解和使用 `Spool` 命令,我们需要了解一些 SQL*Plus 的设置命令,这些命令可以帮助我们定制输出文件的格式。 1. **设置列分隔符** - **命令**: `set colsep ''` - **功能**: 设置列之间的分隔符。...

    74将数据库输出到一个文本文件中.rar_将数据库输

    这段SQL语句会将`table_name`表中的所有数据导出到指定路径的文本文件,字段由逗号分隔,用双引号包围,每行数据以换行符结束。 对于SQL Server,我们可以利用`bcp`命令行实用程序,或者在SSMS(SQL Server ...

Global site tag (gtag.js) - Google Analytics