- 浏览: 25404 次
- 性别:
- 来自: 深圳
文章分类
最新评论
一.安装JDK环境:根据自己的linux系统选择相应的版本,比如我的centos7是x64的,所以我选择jdk-8u74-linux-x64.tar.gz下载
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功
二.将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh
编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)
ROOT_TOPDIR=/usr/local/kettle
export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)
保存!
可在ktlsh目录下直接执行./xxx.sh 文件运行
三. 可以直接启动./spoon.sh 进行可视化设置,测试数据库,Hadoop连接
/root/.kettle/kettle.properties 进行环境变量赋值
四.任务调度
vim /etc/crontab
0 0 * * * root sh /myhome/usr/kettle/ktlsh/jdt_custom.sh >> /myhome/usr/kettle/ktllog/jdtcustomlog
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功
二.将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh
编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)
ROOT_TOPDIR=/usr/local/kettle
export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)
保存!
可在ktlsh目录下直接执行./xxx.sh 文件运行
三. 可以直接启动./spoon.sh 进行可视化设置,测试数据库,Hadoop连接
/root/.kettle/kettle.properties 进行环境变量赋值
四.任务调度
vim /etc/crontab
0 0 * * * root sh /myhome/usr/kettle/ktlsh/jdt_custom.sh >> /myhome/usr/kettle/ktllog/jdtcustomlog
发表评论
-
Canal相关理解
2017-12-29 16:18 458转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7191.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 858设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 457一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 440一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 896导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 359一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 905一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
KYKIN安装
2017-09-30 17:40 3591. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1021为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 471package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 465#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4131.修改集群各机器名称 vim /etc/sysconfig/ ... -
hadoop环境搭建
2017-01-23 17:31 351192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 391物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 439public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1016将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1653当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3051.java.net.UnknownHostException ...
相关推荐
【Kettle在Linux的安装使用】知识详解 Kettle,又称Pentaho Data Integration (PDI),是一款开源的数据集成工具,常用于数据提取、转换和加载(ETL)过程。在Linux环境中安装和使用Kettle,需要遵循一定的步骤。...
Linux Centos 环境 Kettle 部署与定时...Linux Centos 环境 Kettle 部署与定时作业执行需要安装和配置 java 环境,下载和部署 Kettle,配置定时作业执行命令。同时,需要注意一些注意事项,以确保 Kettle 的正常运行。
总的来说,Kettle在Linux环境的部署涉及JDK的安装、Kettle软件的解压、启动脚本的创建、Job文件的上传、环境变量的配置以及定时任务的设定。遇到问题时,需要根据错误信息针对性地解决依赖库缺失或其他系统级别的...
在Linux环境中部署Kettle(Pentaho Data Integration,也称为Kettle或PDI)时,可能会遇到因缺少libwebkitgtk库导致的运行错误。libwebkitgtk是WebKitGTK+的一个库,用于提供GTK+应用程序的Web渲染引擎,它使得在...
Linux_下部署Kettle,Linux_下部署Kettle,Linux_下部署Kettle
亲测好用 kettle-linux环境下部署kettle,执行kitchen.sh文件报错后安装 libwebkitgtk,提示没有可用软件包libwebkitgtk 详细流程:https://blog.csdn.net/m0_37618809/article/details/81015492#commentBox
Kettle 部署指南 Kettle 是一款功能强大的 ETL 工具,对于...Kettle 部署在 Linux 平台下需要安装 Kettle 软件、配置 JDK 环境和安装最新版本的 JDK。同时,我们需要使用 Linux 远程工具来管理和维护 Kettle 环境。
Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,可以在 Window、Linux、Unix 上运行,绿色无需安装,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员 MATT 希望把各种数据放到一个壶里,然后以一种...
根据给定的文件信息“kettle安装部署-Linux”,本文将详细介绍Kettle在Linux环境下的安装与部署过程,包括Kettle的基本概念、安装前的准备、具体的安装步骤以及配置优化等方面,力求为读者提供一份全面详尽的指南。...
Linux系统下面kettle的部署手册,详细介绍了部署步骤,使用的命令等
在Linux环境中部署Kettle数据集成工具时,可能会遇到一些依赖性问题,特别是在执行`kitchen.sh`脚本时。Kettle(也称为Pentaho Data Integration或PDI)是一款强大的ETL(Extract, Transform, Load)工具,它依赖于...
在Linux环境中部署Kettle,一个基于Java的数据集成工具,可能会遇到一些依赖问题,尤其是在执行其命令行客户端`kitchen.sh`时。这个问题通常涉及到与Webkit相关的库,如`libwebkitgtk`。Kettle在处理HTML或者Web页面...
本文主要介绍了在 Linux 环境下部署和使用 Kettle 7.1 的详细步骤,从软件下载、环境准备、第三方软件安装、Kettle 安装、使用 Kettle 进行数据更新等方面进行了详细的介绍。 一、软件下载 在本文中,我们使用的是...
【Kettle 概念】 Kettle 是一个强大的开源数据提取、...通过以上介绍,你已经掌握了 Kettle 的基本概念、安装部署、环境配置以及组件的使用方法。继续深入学习,你将能够利用 Kettle 实现复杂的数据集成和转换任务。
### Kettle部署操作手册知识点详解 #### 一、Kettle简介 Kettle是一款国外开源的ETL(Extract-Transform-Load)工具,以其高效的性能和稳定性受到广泛欢迎。这款工具完全采用Java语言编写,能够在多种操作系统上...
### Kettle-6.1 安装部署及使用教程 #### 一、Kettle概述 Kettle是一款由Pentaho公司开发的开源ETL(Extract, Transform, Load)工具,其主要功能是从不同的数据源中抽取数据,进行清洗、转换等处理后,再加载到目标...