1.Kitchen——作业执行器(后缀名:kjb)
是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,参数说明如下。
-rep:Repositoryname任务包所在存储名
-user:Repositoryusername执行人
-pass:Repositorypassword执行人密码
-job:Thenameofthejobtolaunch任务包名称
-dir:Thedirectory(don'tforgettheleading/or\)
-file:Thefilename(JobXML)tolaunch
-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别
-log:Theloggingfiletowriteto指定日志文件
-listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。
-listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务
-listrep:Listthedefinedrepositories列出所有的存储
-norepon't logintotherepository不写日志
示例: 1. Windows 中多个参数以 / 分隔,key 和value之间以:分隔
ü 作业存储在文件
Kitchen.bat /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb
ü 作业存储在数据库
Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP
(Rep的值为数据库资源库ID)
2. Linux 中参数以 –分隔
作业存储在文件
kitchen.sh-file=/home/job/huimin.kjb >> /home/log/kettle.log
作业存储在数据库
./kitchen.sh -rep=kettle1 -user=admin -pass=admin-level=Basic -job=job
2.Pan——转换执行器(后缀名:ktr)
是一个转换执行引擎,用来执行转换。参数与Kitchen类似,如下。
-version显示版本信息
-file=filename运行xml文件
-param:key=value指定命名参数
-log=logging filename 设置日志文件
-level=logging level 设置日志级别
Error:只显示错误
Nothing:不显示任何输出
Minimal:只使用最少的记录
Basic:这是默认的基本日志记录级别
Detailed:详细的日志输出
Debug:以调试为目的,非常详细的输出
Rowlevel:使用行级记录,会产生大量的数据
返回状态:
Pan会基于执行状况返回一个错误码。
• 0:转换执行成功
• 1:处理过程中发生错误
• 2:在装载或者运行时发生意外的错误
• 3:不能初始化转换
• 7:转换不能从资源库或xml中装载
• 8:装载步骤或插件错误(通常是装载其中一个插件错误)
• 9:命令行用法错误
例如:
- 使用资源库(repository)登录时,默认的用户名和密码是admin/admin
- 当job是存放在资源库(一般资源库都使用数据库)中时,使用Kitchen.bat执行job时,需使用如下的命令行:
Kitchen.bat /rep kettle /user admin /pass admin /dir job目录 /job job名 - 当job没有存放在资源库而存放在文件系统时,使用Kitchen.bat执行job时,需使用如下的命令行:
Kitchen.bat /norep /file user-transfer-job.kjb - 可以使用命令行执行job后,就可以使用windows或linux的任务调度来定时执行任务了
- 如果执行的不是job,执行的是一个trans时,需使用如下的命令行:
./pan.sh -rep=boss -trans=trans名
相关推荐
Kettle 是一款强大的数据集成工具,它提供了两种主要的命令行执行工具:Kitchen 和 Pan。这些工具允许用户在没有图形界面的情况下执行作业(Jobs)和转换(Transformations),这对于自动化数据处理流程特别有用。 ...
5. **Pan** 和 **Kitchen**:Pan用于执行Transformation,Kitchen则用于执行Job。这两个命令行工具可以在无人值守的情况下运行数据集成任务。 6. **Repository**:Kettle支持使用数据库作为仓库存储Job和...
Pan(批处理)和Kitchen(命令行)是两种常见的执行引擎,分别用于本地和远程执行转换,而Pentaho Job Executor则用于执行工作流。 7. **监控与日志**:Pentaho Kettle提供了详细的日志记录和实时监控功能,帮助...
Kettle使用图形化界面设计数据流,然后通过Java或命令行执行。这个版本可能引入了新的特性、优化或者修复了一些已知问题。 **3. `kettle-password-encoder-plugins.xml` 文件** 根据描述,这个文件位于`src/main/...
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。 安装Kettle 下载Kettle的安装包pdi-ce-3.2.0-stable.zip,解压下载下来的文件,把它放在D:\...
Kettle的核心设计理念是通过图形化的界面(Data Integration IDE)来设计和执行ETL流程,这些流程由一系列称为步骤(Steps)的组件构成,这些步骤负责处理数据的输入、转换和输出。 1. **源码结构与组件**: - **...
2. **Job**:负责调度Transformation和其他Job,实现复杂的工作流程。 Kettle具有以下特点: - **易用性**:用户可以通过图形界面进行操作,无需编程基础。 - **灵活性**:支持多种数据源和目标,如数据库、文件...
**src** 文件夹包含了Kettle的主要业务逻辑,是执行Job和Transformation的关键所在。 - **org.pentaho.di.job**:Job 的相关实现,包括 Job 的构建、执行和控制。 - **org.pentaho.di.job.entry**:Job Entry 的...
- **部署与调度**:Kettle提供了Pan和Kitchen命令行工具,方便自动化调度和批量执行ETL任务。 5. **Pentaho Kettle的社区支持** 作为开源项目,Pentaho Kettle有一个活跃的开发者社区,提供了丰富的教程、论坛...
1. **源码结构**:源码包含了Kettle的所有组件,如Spoon(图形化设计工具)、Kitchen(命令行执行工具)、Pan(批处理执行引擎)等。源码分为多个模块,每个模块负责不同的功能,如Engine(核心执行引擎)、Plugins...
然后,我们可以在集群中创建一个新的job,用于执行数据处理和排序任务。 五、基于kettle集群模式对数据库表进行排序 kettle集群模式可以对数据库表进行高效的排序处理。在这个实验中,我们使用了kettle集群模式对...
7. **调度与监控**:Kettle 提供了Pan和Kitchen命令行工具,以及Job Executor 服务,可以实现ETL流程的定时调度和远程执行。另外,Pentaho Data Integration Server 可以监控工作流执行状态,提供日志记录和报警功能...
3. **Kitchen** 和 **Pan**:Kitchen是命令行工具,用于执行作业,而Pan则用于执行转换。这两个工具为自动化ETL任务提供了可能。 4. **Plugins**:Kettle拥有丰富的插件库,涵盖了数据清洗、数据转换、数据库交互等...
例如,使用`Trans`和`Job`类来代表转换和工作流,使用`Repository`来访问存储在数据库中的Kettle对象。 4. **错误处理和日志记录**:由于Kettle的API可能会抛出异常,因此需要适当的错误处理。同时,为了调试和监控...
在Kettle中,通过Carte服务器,可以实现远程执行作业(Job)和转换(Transformation),提高工作效率并方便管理。 远程执行Kettle作业的核心在于Carte,它是Kettle的轻量级HTTP服务器,可以接收来自客户端的Kettle...
其工作原理主要是通过编写Kettle的作业(Job)和转换(Transformation)来定义数据处理流程,然后通过Java API或者Shell命令行进行执行。 在Java后台中使用Kettle,首先需要将Kettle的lib目录下的所有JAR文件添加到...
- Shell命令行:通过调用Kettle的命令行工具如`kitchen.sh`和`pan.sh`执行Job和Transformation。 3. **Kettle的jar包使用** - 完整的Kettle jar包包含了所有必要的库,可以用于运行Kettle的Job和Transformation。...
4. **Job**:在Kettle中,作业(Job)是一系列转换和控制流程的集合,用于管理复杂的数据处理逻辑。 5. **Steps and Transforms**:Kettle包含大量预定义的步骤,如数据库连接、数据过滤、聚合、排序等。这些步骤...
Kettle是一款强大的ETL(Extract, Transform, Load)工具,它允许用户通过图形化界面创建作业(Job)和转换(Transformation),然后在生产环境中通过API或者命令行来执行。 1. **Kettle简介** Kettle是Pentaho...