Kettle数据转换

决定采用Kettle作为ETL工具把第三方数据（SqlServer），经过简单粗暴的方式同步到本地我们这边的DW（Oracle），问题也基本解决，现在是想把其中碰到几个问题分享出来。

 

1.数据转换（最小单元任务）搭建

   DB连接，如果是sqlserver、oracle因为考虑采用JDBC方式，kettle自身未携带jar包，所以需要把sqlserver4、ojdbc16放入lib目录下

 

2.数据在流程中，简单数据转换

   这里我采用javascript的脚本，简单的语法

 

var yearvalue = LOG_TIME.getTime();
var value = yearvalue;

 

获取变量，那在接下来的就能获取value的变量值

 

 

3.当主任务需要分发给多个子任务时候

   数据可能需要分发，则右键->数据发送->Round Robin，如果数据是重复性发送，选择复制发送模式

 

4.数据表的更新

  a.直接通过插入、更新的机制

  b.sql完成，执行SQL脚本

 

5.作业关联转换任务

  其实作业是作为定时任务机制而采用，那么在完成作业时，有必要对于每个任务作为最小单元任务

 

6.作业对其时间控制

  作业中start的按钮双击，进行时间控制

 

 

 

 

 

 7.对于执行SQL的脚本，我们可以采纳preparestatment的预编译的方式来完成'?'，sql的执行

 

 8.如何使用脚本进行定时任务推动（环境变量先设置）

title WMS Data Migrate
cd D:\Downloads\pdi-ce-5.0.1.A-stable\data-integration
Kitchen.bat /file D:\NEVERSAYGOODBYE\KettleJob\job.kjb /level Basic /logfile d:\MyTest.log
pause

 

9.linux则采用shell脚本即可启动，如果是job则采用kitchen，而转换则采用pan来执行

 

10.基础培训可以参考文件（baidu文库中下载）

 

评论

2 楼 cywhoyi 2014-03-06  

liushicheng1 写道

请问楼主，那个定时的可视化的那个工具，要周期定时执行某个任务，该如何实现？是不是这个软件不能退出去，任务才会周期执行？ 一般我们部署在Tomcat中是没问题的，但是现在就是一个普通java 应用程序，该怎么调度呢？

1.如果是java应用程序，你可以通过shell脚本调用，定时话可以通过linux cron的计划安排
2.可以通过quartz framework完成
3.ETL工具kettle本事也支持linux环境，我现在为了方便，这个工具不要退出去就能够保证周期性运行

1 楼 liushicheng1 2014-03-05  

请问楼主，那个定时的可视化的那个工具，要周期定时执行某个任务，该如何实现？是不是这个软件不能退出去，任务才会周期执行？ 一般我们部署在Tomcat中是没问题的，但是现在就是一个普通java 应用程序，该怎么调度呢？