`
cywhoyi
  • 浏览: 420219 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Kettle第四课

 
阅读更多

Liunx下如何部署以及调度已有编写作业和转换呢?

 

首先,安装jre,配置java环境变量
  
(一)   下载jre-6u23-linux-x64.bin

下载地址:http://cds-esd.sun.com/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin?AuthParam=1292401739_2abc6c61c57eec5b100fe647086d1f33&TicketId=CJ0nhpzNkjGGwpbkW40LAgA%3D&GroupName=CDS&FilePath=/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin&File=jre-6u23-linux-x64.bin

(二)   安装jre-6u23-linux-x64.bin

      jre-6u23-linux-x64.bin上传到linux服务器

1.     在终端上,键入:
su

2.     输入超级用户口令。

3.     切换到所需的安装目录。类型:
cd <
目录路径名>
例如,要在 /usr/java/ 目录中安装软件,请键入:
cd /usr/java/

关于超级用户访问权限的说明:要将 JRE 安装在系统级位置(例如 /usr/local),必须以超级用户身份登录,从而获得必要的权限。如果您不具有超级用户访问权限,请将 JRE 安装在您的主目录中,或者安装在您具有写入权限的子目录中。

4.     将您下载的文件的权限更改为可执行。类型:
chmod a+x jre-6u23-linux-x64.bin

5.      启动安装过程。键入:
./ jre-6u23-linux-x64.bin

此时将显示二进制许可协议。通读许可协议。按空格键显示下一页。读完许可协议后,输入 yes 继续安装(此步骤可能直接跳过)

7.     JRE 安装在其自身的目录中。在本例中,它将安装在 /usr/java/ jre1.6.0_23目录中。当安装完成时,您将看到 Done(完成)字样。

 (三)   配置java环境变量

1.     命令行键入“cd /etc进入etc目录

2.     命令行键入“vi profile打开profile文件

3.     敲击键盘ctrl+F到文件末尾

4.     在末尾处,即第一个~的地方,敲击键盘将以下内容输入到文件

JAVA_HOME=/usr/java/jre1.6.0_23

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

     5.     键盘敲击exc,命令行键入“:wq”,保存文件;

     6.     重新登录linux,在命令行键入“java”,如果出现帮助信息则表示配置成功。


然后,部署kettle

       
1.         pdi-ce-4.1.0-stable.zip上传到linux服务器

2.         使用unzip命令解压pdi-ce-4.1.0-stable.zip
unzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle"

3.         赋予解压目录下.sh文件的执行权力

chmod +x *.sh

4.         进入解压目录,键入“./kitchen.sh”回车,如果有帮助信息则表示kettle环境部署成功


※(重点)接着,编写执行kettle任务的shell脚本

创建test.sh,将以下内容复制粘贴到里面,然后键入“chmod +x /mnt/kettle/*.sh”,赋予test.sh执行权限。

export JAVA_HOME=/usr/java/jre1.6.0_23
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
/mnt/kettle/data-integration/kitchen.sh -file=/mnt/kettle/test.kjb > /mnt/kettle/display.txt


说明:
前3行,设置java环境变量的语句必不可少,
因为crond是个守护进程,它不归属于任何用户,虽然之前以root身份配置了java的环境变量,但是crond一样找不到java命令,
所以,当crond执行kettle任务时,需要动态设置java环境变量,crond才能找到java命令。


最后,使用crontab命令添加定时任务

       1.在终端上,键入“crontab -e”,进入定时任务文件
       2.键入“a”,对文件进行编辑
          输入如下内容: 
23 11 10 02 * /mnt/kettle/test.sh
        其中 23为分钟,11为小时,10为日,02为月,*为星期几,crontab命令的使用这里不再赘述。
       3.键盘敲击exc,终端键入“:wq”,保存文件
       4.重启crond服务
          键入“cd /etc/init.d”,进入该目录
          键入“./crond restart”,重启crond服务
      5.等待执行结果
      6.执行成功,oh..nice! 
分享到:
评论

相关推荐

    kettle设置循环变量

    4. 实现变量 TABLENAME 复制操作:在 Kettle 中,变量 TABLENAME 的复制操作是设置循环变量的重要步骤。【计数器累加】也实现变量 TABLENAME 复制操作。 Kettle 设置循环变量的应用场景 在实际项目中,Kettle 设置...

    kettle-core-8.1.0.0-365_kettle_kettle达梦8_

    《Kettle与达梦数据库的整合:深入理解kettle-core-8.1.0.0-365_kettle_kettle达梦8_》 Kettle,也被称为Pentaho Data Integration (PDI),是一款强大的数据集成工具,它提供了一种图形化的界面,让用户能够设计、...

    kettle6与kettle7版本比较

    我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较

    kettle习题和总结吧

    ##### 4. **过滤条件** - **工具**: 流程 - 过滤记录 - **描述**: 使用过滤记录步骤,基于之前设定的条件过滤出符合条件的记录。在这里,我们需要过滤出所有小于等于50的随机数以及大于50的随机数,分别进行统计...

    Kettle8.2入门PPT.rar

    **四、Kettle操作方法** 1. **创建转换**:在Spoon中,通过拖拽步骤到设计面板,然后连接它们来创建数据流。每个步骤负责特定的数据处理任务,如读取数据、清洗、转换或加载。 2. **设计作业**:作业是更高层次的...

    kettle二次开发

    在 `kettle-src` 项目根目录下创建 `core`, `engine`, `dbdialog`, `ui` 四个文件夹,并将它们设置为 Source Folders。 **3. 复制源码** 将源码解压包中的 `core\src` 目录下的所有内容复制到 `kettle-src` 项目的...

    java集成kettle所有jar包

    3. **Library dependencies**:Kettle依赖于一些第三方库,如JDBC驱动、Apache Commons、Log4j等。这些也需要被包含在Java项目的类路径中。 4. **Swing和WebUI**:如果你的应用需要图形界面,那么可能还需要`kettle...

    KETTLE中文官方文档

    Kettle中文官方文档 Kettle是一款功能强大的数据集成工具,提供了详细的中文官方文档,旨在帮助用户快速上手使用Kettle实现数据集成任务。本文档提供了资源库管理、菜单栏介绍、变量等多方面的知识点,帮助用户深入...

    kettle7.1.rar

    《Kettle 7.1:数据仓库与ETL的强大工具》 Kettle 7.1 是一款强大的数据集成工具,其全称为Pentaho Data Integration(PDI),由社区驱动的开源项目提供支持,主要用于数据仓库建设和ETL(Extract, Transform, Load...

    kettle导入的lib包

    3. **第三方库**:Kettle为了支持各种数据源、格式和特定功能,可能会引入许多第三方库,如Apache Commons、Jackson、Log4j等。 4. **特定插件库**:Kettle支持插件扩展,每个插件可能有自己的依赖库,如果压缩包中...

    springboot整合kettle项目源码

    6. **集成调度**:如果需要定时执行Kettle任务,可以利用Spring Boot的定时任务特性(如`@Scheduled`注解)或集成Quartz等第三方调度库。 7. **异常处理和日志记录**:确保Kettle的错误和日志信息能够正确地被...

    kettle下载文件.zip

    4. **分布式处理**:Kettle支持在多节点环境中运行,如通过Spoon客户端提交到Kettle的Job和Transformation到集群,利用Hadoop的MapReduce进行大规模数据处理。 5. **插件扩展**:Kettle拥有丰富的插件生态系统,...

    kettle数据抓取操作手册

    连接数据库是kettle数据抓取操作的第一步。在kettle中,用户可以连接不同的数据库管理系统,例如Oracle、MySQL、SQL Server等。在连接数据库时,需要安装相应的JDBC驱动程序,例如ojdbc.jar和mysql-connector-java-...

    【kettle】10分钟搞定kettle源码部署

    ##### 4. 复制源码 - 将解压后的源码包中`pentaho-kettle-7.1.0.2-R\core\src`目录下的所有内容复制到项目的`core`文件夹。 - 同样,将`engine`、`dbdialog`、`ui`目录下的源码复制到对应的项目文件夹。 ##### 5. ...

    【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL

    【Kettle012】Kettle访问FTP服务器文件并处理数据至PostgreSQL是关于使用Kettle(也称为Pentaho Data Integration,简称PDI)工具进行数据集成的一个具体实例。Kettle是一个开源的数据集成工具,它允许用户通过图形...

    kettle7.1可用版本

    kettle7.1可用版本

    kettle连接ClickHouse驱动包

    此外,随着Kettle社区的发展,可能会有第三方插件或者更新版本提供对ClickHouse的直接支持,定期检查更新以获取最新功能和改进。 总结起来,连接Kettle到ClickHouse需要一些额外的配置工作,但一旦设置好,就可以...

    kettle实战教程.pdf

    4. 运行环境:Kettle可以在Windows和Linux操作系统下运行,甚至在多种操作系统下跨平台工作。 5. 支持的DB种类:Kettle支持大多数主流数据库,包括但不限于MySQL、PostgreSQL、Oracle、SQL Server等。 6. 支持的操作...

    kettle rabbitmq 插件开发

    标题 "kettle rabbitmq 插件开发" 涉及的是如何在 Pentaho Kettle(也称为 Spoon)中创建和使用 RabbitMQ 插件。Kettle 是一个开源的数据集成工具,它允许用户进行数据抽取、转换和加载(ETL)操作。RabbitMQ 是一个...

Global site tag (gtag.js) - Google Analytics