【原】品味kettle--（一）用eclipse 搭建源码

前话

   本系列文章，重点剖析PDI的工作原理并关注系统的代码处理，学习软件的编码能力和代码的设计模式。该系统为我们快速搭建集群应用又提供了一种思路。在开始这系列文章之前，我认可你是懂java语法的人，对脚本有一定的认识，在软件面前有渴望知道原理的求知欲。本系列文章采用最新的开源版本

pdi-ce-5.0.1.A-stable，我希望通过我的努力能为ETL方面贡献我微薄的力量。

 

 简介

Kettle是一个纯java编写的开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目。Kettle是水壶的意思。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为 PDI ( Pentaho Data Integeration )。加入Pentaho 后Kettle 的发展越来越快了，并有越来越多的人开始关注它了。Kettle绿色无需安装，数据抽取高效稳定。

 

正文

 

到PDI 官网上去下载最新的版本包：

http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download

 

到如下源码站点，找到与之对应的源码：

https://github.com/pentaho/pentaho-kettle/releases

 

 

我们打开编译过的包，直接解压。如果设置了java环境变量，你就可以直接点击spoon脚本，打开PDI并看到他的操作界面了。首先，我们不着急打开，先看下你解压过后的文件，我们来大致了解下文件布局构造。

 
 

 

 

• lib：项目依赖jar包。比较重要的是以kettle和pentaho打头的jar包。支持整个工具的运行。如下，也是我们比较关注源码的地方。
  
   

 

 

• libswt： PDI采用了xul界面技术。所有界面的开发采用了swt组件。该目录，包含了所用到的jar包，并且根据操作系统平台做到了差异化加载jar包的控制。

 

• Plugins：插件目录。系统开放插件接口，可以对平台插件做扩展。

 

 

 

• Pwd：存放集群化的配置文件和访问授权文件kettle.pwd

 

• Ui: 系统所有的界面xul文件和引用的图片资源文件。

 

• 脚本：各种启动脚本。重点有四个 spoot/ pen/ kitchen/ carte。这些脚本的作用，后面我们再详细阐述。

 

 

到这里，有人或许已经打开了PDI的工作页面，并根据教程，已经对脚本有了基本概念。但这些不是我们的目的，我们要把项目从eclipse上启动起来。

 

 

 

新建java项目，笔者以pentaho_kettle 为项目名。

 

源码项目是用ivy来管理的，为了减（我）少（也）麻（不）烦（会），我们把项目的源码改成eclispe上的java工程项目。打开源码包里有几个比较重要的目录。

 

 

 

跟之前的lib的依赖包是一致的。好了我们在工程里建立相应的源码目录，把源码包相应模块下的src目录内容拷贝进来。拷贝进来后，代码会报错，到上面提到的lib包下，我们把需要引用的jar包都考进工程里，并构建到工程中。

 

注意：已经引入源码的jar包就不要再引入了。另外swt包没有了脚本对操作系统的判断，自己根据自己的系统的类型，手动选择引入吧。其他的目录文件，如docs 、pwd、simple-jndi等虽然不会造成项目编译不了，但是作为资源，缺失会报错的，所以还是要拷贝进来的。

 

 

 

 到这里，你的源码搭建就OK了，如果你对脚本有了解的话，不难看出spoon启动脚本，对应的是Spoon.java.该类的main方法便是整个工具的入口。这里看到脚本对启动参数有了部分的设置，我们在启动配置时加入该参数。

 

 

VM参数 写道

-Xmx512m
-XX:MaxPermSize=256m
-Djava.library.path=libswt\win32
-DKETTLE_HOME=
-DKETTLE_REPOSITORY=
-DKETTLE_USER=
-DKETTLE_PASSWORD=
-DKETTLE_PLUGIN_PACKAGES=
-DKETTLE_LOG_SIZE_LIMIT=
-DKETTLE_JNDI_ROOT=

 

启动，OK！