一个小的etl调度,需要将存储过程执行情况进行返回并控制其后续依赖是否执行,本人只是将调用执行存储过程的shell脚本中存储过程输出参数返回,并没有写具体的控制程给大家,如果在这个思路上继续进行开发,那就是一个小的etl调度程序。
下面将各个脚本进行说明:(ex_produre.sh)
1.执行存储过程脚本
#!/bin/bash
user_name=$1
user_pass=$2
produre_name=$3
statis_sign=$4
sql_str=`
sqlplus -S $user_name/$user_pass as sysdba <<EOF
set linesize 800;
set long 2048576;
set serveroutput on;
var oi_return number;
call $user_name.$produre_name($statis_sign,:oi_return);
select :oi_return from dual;
exit
EOF`
echo "$sql_str"|sed -e '4,/^$/!d;/^$/d'|
while read run_return
do
echo $run_return
done
2.调执行存储过程的shell脚本(ex_proc.sh)
#!/bin/bash
sh ex_produre.sh etl jiangtao pdm_cust_act_behav_base 201003 |grep -v OI_RETURN |grep -v -| while read vi_result
do
#this date
echo $vi_result
if [ $vi_result -eq 0 ]
then
echo "this produre is normal run "
else
echo "this produre is not normal run "
fi
done
3.相关存储过程及建表脚本(这个大家可以做为模板使用,这可是一家大公司的模版,哈哈)
a.存储过程(pdm_cust_act_behav_base )
create or replace procedure pdm_cust_act_behav_base (is_month in varchar2, oi_return out number)
/** HEAD
* @name etl.pdm_cust_act_behav_base
* @caption ??????????
* @type ???
* @parameter is_month in varchar2 ???????YYYYMM
* @parameter oi_return out number ?????????0 ???-1 ??
* @description ??????????
* @target etl#tdm_cust_act_behav_base
* @source hwmk#tmm_ci_user_basic_m
* @middle
* @version 1.0
* @author
* @create-date
* @TODO ?
* @version
* @mender
* @modify_date
* @modify_desc
* @copyright
*/
-- ********************************************************************************
-- ????: etl.pdm_cust_act_behav_base
-- ????: ??????????
-- ????: is_month - ????
-- ????: oi_return - ?????????0 ???-1 ??
-- ????: hwmk.tmm_ci_user_basic_m
-- ????: etl.tdm_cust_act_behav_base
-- ????:
-- ????:
-- ????:
-- ????: v1.0
-- ????:
-- ????:
-- ????:
-- ????:
-- ????:
-- ********************************************************************************
is
vs_task_name varchar2(30); -- ????
vs_table_name varchar2(30); -- ???
vs_message varchar2(200); -- ????
vi_task_id integer; -- ??id
vi_month integer; -- ????
begin
vs_task_name := 'pdm_cust_act_behav_base';
vs_table_name := 'tdm_cust_act_behav_base';
-- ??????
etl.ps_log(vs_task_name, vs_table_name, is_month, 1, null, vi_task_id);
-- ??: ??????????
if (is_month is null) then
vs_message := '??????????';
etl.ps_log(null, null, null, 3, vs_message, vi_task_id);
oi_return := -1;
return;
end if;
------------------------------------------------------------
-- ??????
vi_month := to_number(is_month);
------------------------------------------------------------
insert into etl.tdm_cust_act_behav_base
(
statis_month,
serv_id
)
select
vi_month,
15204669284
from dual
;
commit;
------------------------------------------------------------
-- ??????
etl.ps_log(null, null, null, 2, null, vi_task_id);
-- ????
oi_return := 0;
return;
exception
when others then
-- ??????
vs_message := substr(sqlerrm, 1, 200);
-- ????
rollback;
-- ??????
etl.ps_log(null, null, null, 3, vs_message, vi_task_id);
-- ????
oi_return := -1;
return;
end;
/
b.存储过程(ps_log)
create or replace procedure ps_log
(
is_task_name in varchar2,
is_table_name in varchar2,
is_task_sign in varchar2,
ii_task_status in integer,
is_task_log in varchar2,
oi_task_id in out integer
)
-- ********************************************************************************
-- ????: etl.ps_log
-- ????: DW????????
-- ????: is_task_name - ????
-- is_table_name - ????
-- is_task_sign - ????, ???????????
-- ii_task_status - ????, 1 ?????, 2 ??????, 3 ??????
-- is_task_log - ????, ????[?????]?[??????],
-- ????[????]
-- oi_task_id - ??ID, ???2?3??????
-- ii_rowcount - ???
-- ????: oi_task_id - ??ID, ???1??????
-- ????:
-- ????: etl.ts_log
-- ????:
-- ????: ???
-- ????: 2010-02-01
-- ????: V1.0
-- ????:
-- ????:
-- ????:
-- ????:
-- ????: ????
-- ********************************************************************************
is
vs_err_msg varchar2(255); -- ??????
begin
if ii_task_status = 1 then
-- ????????????
select etl.seq_dw_log.nextval
into oi_task_id
from dual;
insert into etl.ts_log
(
task_id, -- ??ID
task_name, -- ????
table_name, -- ????
task_sign, -- ????
start_time, -- ??????
end_time, -- ?????????????
task_status, -- ????
task_log -- ????
)
values
(
oi_task_id,
is_task_name,
is_table_name,
is_task_sign,
sysdate,
null,
'1',
'?????'
);
elsif ii_task_status = 2 then
-- ????????????ID????????
update etl.ts_log
set end_time = sysdate,
task_status = '2',
task_log = '??????'
where task_id = oi_task_id;
else
-- ??????????ID?????????????
update etl.ts_log
set end_time = sysdate,
task_status = '3',
task_log = substr(is_task_log, 1, 200)
where task_id = oi_task_id;
end if;
commit;
-- ????
return;
exception
-- ????
when others then
-- ??????
vs_err_msg := substr(sqlerrm, 1, 200);
-- ????
rollback;
-- ??????
dbms_output.put_line('etl.ps_log: ' || vs_err_msg);
-- ????
return;
end;
/
c.建表脚本:
-- Create sequence
create sequence SEQ_DW_LOG
minvalue 1
maxvalue 999999999999999999999999999
start with 2731
increment by 1
cache 20;
create table TS_LOG
(
TASK_ID INTEGER,
TASK_NAME VARCHAR2(30),
TABLE_NAME VARCHAR2(30),
TASK_SIGN VARCHAR2(20),
START_TIME DATE,
END_TIME DATE,
TASK_STATUS VARCHAR2(1),
TASK_LOG VARCHAR2(200),
ROWCOUNT NUMBER
);
-- Create table
create table TDM_CUST_ACT_BEHAV_BASE
(
STATIS_MONTH NUMBER(10),
SERV_ID NUMBER(12)
);
相关推荐
在Linux环境中,shell脚本是一种强大的工具,可以与操作系统进行交互并执行各种任务。当我们需要查询Oracle数据库中的数据并返回结果时,可以结合shell脚本和Oracle的SQL命令行工具来实现。这篇博客(虽然链接不可用...
2. **扩展存储过程**:以`XP_`开头,用于调用操作系统级功能,例如`xp_cmdshell`用于执行外部命令。 3. **用户自定义存储过程**:由用户创建,满足特定业务需求。 ##### 创建与调用格式: ```sql CREATE PROCEDURE...
在这个例子中,`runCommand`函数执行了Shell脚本,并将输出结果存储在变量`result`中。 三、注意事项 1. **安全性**:执行Shell脚本可能带来安全风险,因为它们可以访问操作系统资源。确保只允许授权的用户执行...
/bin/bash` 指定了此脚本应使用bash shell来执行。 2. **注释说明**:脚本头部的注释提供了脚本的基本信息,包括脚本名称、用途以及依赖关系等。 - `oracledbThisStarts/StopstheOracleServer` 表明了脚本的主要...
* 存储过程和函数的区别:存储过程用于封装一系列操作,函数用于计算和返回值 * 触发器:用于在特定事件发生时执行某些操作 数据仓库: 数据仓库是一种用于存储和管理大量数据的系统。下面是一些常用的数据仓库...
开源的PLSQL软件包为数据库用户提供了这样的能力,允许他们在Oracle数据库环境中直接执行操作系统级别的任务,如管理文件、运行shell命令等,而无需离开SQL或PL/SQL环境。 此软件包的核心在于提供了一个接口,使得...
- **SQL执行和存储过程支持**:三款工具均支持SQL语句的执行以及存储过程的调用,但在检测存储过程是否失败方面,Sagent Data Flow表现更为出色。 - **循环执行**:三者均支持循环执行,但实现方式略有不同。 - **...
- **外部调用**:所有工具均支持SHELL,bat,exe的调用,其中,Informatica和Sagent DataFlow还提供了更高级的dll调用支持,尤其是Sagent DataFlow能够获取调用程序的返回值,增强了交互性和反馈机制。 - **事务处理...
- 变量:用于存储数据的容器,其值可以在程序运行过程中改变。 - **数据类型** - 基本数据类型:如int、double、char等。 - 引用数据类型:如类(Class)、数组(Array)等。 - **运算符** - 算术运算符:+、-、...
15.5.4 在Oracle上执行DDL和DML操作 15.5.5 范例15-6:ex6.pl Oracle上persons.sql的Perl ADO,无DSN 15.5.6 范例15-7:ex7.pl Oracle上的Perl DBI简单查询 15.5.7 范例15-8:ex8.ploracle上persons...
这个压缩包文件是Oracle JDK的12.0.1版本,采用tar.gz格式进行打包,这是一种在Unix/Linux系统中常见的文件压缩方式,它首先使用tar工具将多个文件或目录打包成一个单一的归档文件,然后用gzip压缩这个归档文件以...
AIX常用命令://查看机器序列号,IBM的基本信息都可以通过该命令查询得到 #prtconf #oslevel -r == uname -a //操作系统版本 #oslevel //查看操作系统版本ex :5.1.0.0 #oslevel -r //ex:5100-04 == oslevel -q //...