`

KETTLE-命令行执行JOB

 
阅读更多

1.Kitchen——作业执行器(后缀名:kjb)

是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,参数说明如下。

-rep:Repositoryname任务包所在存储名

-user:Repositoryusername执行人

-pass:Repositorypassword执行人密码

-job:Thenameofthejobtolaunch任务包名称

-dir:Thedirectory(don'tforgettheleading/or\)

-file:Thefilename(JobXML)tolaunch

-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别

-log:Theloggingfiletowriteto指定日志文件

-listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。

-listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务

-listrep:Listthedefinedrepositories列出所有的存储

-norepon't logintotherepository不写日志

示例: 1.  Windows 中多个参数以 / 分隔,key 和value之间以:分隔

ü  作业存储在文件

Kitchen.bat /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb

ü 作业存储在数据库

Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP

(Rep的值为数据库资源库ID)

2.   Linux 中参数以 –分隔

作业存储在文件

kitchen.sh-file=/home/job/huimin.kjb >> /home/log/kettle.log

作业存储在数据库

./kitchen.sh -rep=kettle1 -user=admin -pass=admin-level=Basic -job=job

2.Pan——转换执行器(后缀名:ktr)

是一个转换执行引擎,用来执行转换。参数与Kitchen类似,如下。

-version显示版本信息

-file=filename运行xml文件

-param:key=value指定命名参数

-log=logging filename 设置日志文件

-level=logging level  设置日志级别

Error:只显示错误

Nothing:不显示任何输出

Minimal:只使用最少的记录

Basic:这是默认的基本日志记录级别

Detailed:详细的日志输出

Debug:以调试为目的,非常详细的输出

Rowlevel:使用行级记录,会产生大量的数据

返回状态:

Pan会基于执行状况返回一个错误码。

•      0:转换执行成功

•      1:处理过程中发生错误

•      2:在装载或者运行时发生意外的错误

•      3:不能初始化转换

•      7:转换不能从资源库或xml中装载

•      8:装载步骤或插件错误(通常是装载其中一个插件错误)

•      9:命令行用法错误

 

 

 

例如:

  1. 使用资源库(repository)登录时,默认的用户名和密码是admin/admin
  2. 当job是存放在资源库(一般资源库都使用数据库)中时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /rep kettle /user admin /pass admin /dir job目录 /job job名
  3. 当job没有存放在资源库而存放在文件系统时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /norep /file user-transfer-job.kjb
  4. 可以使用命令行执行job后,就可以使用windows或linux的任务调度来定时执行任务了
  5. 如果执行的不是job,执行的是一个trans时,需使用如下的命令行:
    ./pan.sh -rep=boss -trans=trans名

 

分享到:
评论

相关推荐

    Kettle-命令行使用.pdf

    Kettle 是一款强大的数据集成工具,它提供了两种主要的命令行执行工具:Kitchen 和 Pan。这些工具允许用户在没有图形界面的情况下执行作业(Jobs)和转换(Transformations),这对于自动化数据处理流程特别有用。 ...

    kettle-7.0.0.0-25版本-免安装压缩包

    5. **Pan** 和 **Kitchen**:Pan用于执行Transformation,Kitchen则用于执行Job。这两个命令行工具可以在无人值守的情况下运行数据集成任务。 6. **Repository**:Kettle支持使用数据库作为仓库存储Job和...

    pentaho-kettle-8.2.zip

    Pan(批处理)和Kitchen(命令行)是两种常见的执行引擎,分别用于本地和远程执行转换,而Pentaho Job Executor则用于执行工作流。 7. **监控与日志**:Pentaho Kettle提供了详细的日志记录和实时监控功能,帮助...

    intellij idea 中调用kettle9.2.0.0-290样例

    Kettle使用图形化界面设计数据流,然后通过Java或命令行执行。这个版本可能引入了新的特性、优化或者修复了一些已知问题。 **3. `kettle-password-encoder-plugins.xml` 文件** 根据描述,这个文件位于`src/main/...

    pentaho-Kettle安装及使用说明(例子).doc

    Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。 安装Kettle 下载Kettle的安装包pdi-ce-3.2.0-stable.zip,解压下载下来的文件,把它放在D:\...

    pentaho-kettle-4.4.zip

    Kettle的核心设计理念是通过图形化的界面(Data Integration IDE)来设计和执行ETL流程,这些流程由一系列称为步骤(Steps)的组件构成,这些步骤负责处理数据的输入、转换和输出。 1. **源码结构与组件**: - **...

    大数据技术-数据kettle-大数据基础kettle数据处理-学习(从入门到精通)

    2. **Job**:负责调度Transformation和其他Job,实现复杂的工作流程。 Kettle具有以下特点: - **易用性**:用户可以通过图形界面进行操作,无需编程基础。 - **灵活性**:支持多种数据源和目标,如数据库、文件...

    Kettle源码分析

    **src** 文件夹包含了Kettle的主要业务逻辑,是执行Job和Transformation的关键所在。 - **org.pentaho.di.job**:Job 的相关实现,包括 Job 的构建、执行和控制。 - **org.pentaho.di.job.entry**:Job Entry 的...

    pentaho-kettle-6.1.0.2-R.zip

    - **部署与调度**:Kettle提供了Pan和Kitchen命令行工具,方便自动化调度和批量执行ETL任务。 5. **Pentaho Kettle的社区支持** 作为开源项目,Pentaho Kettle有一个活跃的开发者社区,提供了丰富的教程、论坛...

    kettle-8.2.0.0源码

    1. **源码结构**:源码包含了Kettle的所有组件,如Spoon(图形化设计工具)、Kitchen(命令行执行工具)、Pan(批处理执行引擎)等。源码分为多个模块,每个模块负责不同的功能,如Engine(核心执行引擎)、Plugins...

    kettle集群(cluster)在多个服务器上并发执行

    然后,我们可以在集群中创建一个新的job,用于执行数据处理和排序任务。 五、基于kettle集群模式对数据库表进行排序 kettle集群模式可以对数据库表进行高效的排序处理。在这个实验中,我们使用了kettle集群模式对...

    pentaho-kettle-8.3 ETL数据开发

    7. **调度与监控**:Kettle 提供了Pan和Kitchen命令行工具,以及Job Executor 服务,可以实现ETL流程的定时调度和远程执行。另外,Pentaho Data Integration Server 可以监控工作流执行状态,提供日志记录和报警功能...

    Kettle的源码包

    3. **Kitchen** 和 **Pan**:Kitchen是命令行工具,用于执行作业,而Pan则用于执行转换。这两个工具为自动化ETL任务提供了可能。 4. **Plugins**:Kettle拥有丰富的插件库,涵盖了数据清洗、数据转换、数据库交互等...

    java集成kettle所有jar包

    例如,使用`Trans`和`Job`类来代表转换和工作流,使用`Repository`来访问存储在数据库中的Kettle对象。 4. **错误处理和日志记录**:由于Kettle的API可能会抛出异常,因此需要适当的错误处理。同时,为了调试和监控...

    KETTLE远程执行

    在Kettle中,通过Carte服务器,可以实现远程执行作业(Job)和转换(Transformation),提高工作效率并方便管理。 远程执行Kettle作业的核心在于Carte,它是Kettle的轻量级HTTP服务器,可以接收来自客户端的Kettle...

    java后台使用kettle的lib文件

    其工作原理主要是通过编写Kettle的作业(Job)和转换(Transformation)来定义数据处理流程,然后通过Java API或者Shell命令行进行执行。 在Java后台中使用Kettle,首先需要将Kettle的lib目录下的所有JAR文件添加到...

    kettle集成java+完整jar包

    - Shell命令行:通过调用Kettle的命令行工具如`kitchen.sh`和`pan.sh`执行Job和Transformation。 3. **Kettle的jar包使用** - 完整的Kettle jar包包含了所有必要的库,可以用于运行Kettle的Job和Transformation。...

    kettle 9.0 源码

    4. **Job**:在Kettle中,作业(Job)是一系列转换和控制流程的集合,用于管理复杂的数据处理逻辑。 5. **Steps and Transforms**:Kettle包含大量预定义的步骤,如数据库连接、数据过滤、聚合、排序等。这些步骤...

    java集成kettle执行作业文件.rar

    Kettle是一款强大的ETL(Extract, Transform, Load)工具,它允许用户通过图形化界面创建作业(Job)和转换(Transformation),然后在生产环境中通过API或者命令行来执行。 1. **Kettle简介** Kettle是Pentaho...

Global site tag (gtag.js) - Google Analytics