- 浏览: 25402 次
- 性别:
- 来自: 深圳
文章分类
最新评论
1.将jmbi sql先上生产环境, 参考附件jmbi.sql
2.kettle安装部署
选好目标机器,装好jdk1.8 然后登录测试环境192.168.1.142,复制kettle安装文件,job,shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho
修改.kettle文件夹下的kettle.properties配置为生产环境DB连接,hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job
安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log
3.hbase建表,参考附件jmbi_hbase.txt
4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master(10.88.13.16)机器上,比如测试环境的192.168.1.141, 只是这一台就可以了
jmbitaskmr.sh 到hadoop master(10.88.13.16)上,
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh
5.service部署,运维常规部署
6.web部署,运维常规部署
7.数据采集spider常规部署,增加了短信提醒功能
2.kettle安装部署
选好目标机器,装好jdk1.8 然后登录测试环境192.168.1.142,复制kettle安装文件,job,shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho
修改.kettle文件夹下的kettle.properties配置为生产环境DB连接,hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job
安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log
3.hbase建表,参考附件jmbi_hbase.txt
4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master(10.88.13.16)机器上,比如测试环境的192.168.1.141, 只是这一台就可以了
jmbitaskmr.sh 到hadoop master(10.88.13.16)上,
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh
5.service部署,运维常规部署
6.web部署,运维常规部署
7.数据采集spider常规部署,增加了短信提醒功能
- jmbi.rar (493.7 KB)
- 下载次数: 0
发表评论
-
Canal相关理解
2017-12-29 16:18 458转载:http://www.importnew.com/251 ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 858设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 457一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 440一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 896导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 359一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 905一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
KYKIN安装
2017-09-30 17:40 3591. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1021为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 471package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 465#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4131.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1351一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 351192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 391物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 439public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1016将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1653当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3051.java.net.UnknownHostException ...
相关推荐
Linux Centos 环境 Kettle 部署与定时作业执行 Linux Centos 环境 Kettle 部署与定时作业执行是指在 Linux Centos 环境中部署 Kettle 工具,并配置定时作业执行。下面将详细介绍 Kettle 部署和定时作业执行的步骤...
### Kettle部署操作手册知识点详解 #### 一、Kettle简介 Kettle是一款国外开源的ETL(Extract-Transform-Load)工具,以其高效的性能和稳定性受到广泛欢迎。这款工具完全采用Java语言编写,能够在多种操作系统上...
kettle是一个数据抽取的ETL工具,能让大家对大数据迁移更加的帮忙,不再需要面对java接口同步的痛苦。第三章:kettle部署
Kettle部署完成后,你可能需要设置定时任务来自动化Job的执行。Linux系统中的定时任务通常通过`crontab`命令实现。`crontab`命令用于定义周期性任务,比如每天、每周或每月的特定时间执行Job。通过`crontab -e`编辑...
虽然在解决libwebkitgtk的问题中它不是直接相关的,但如果你的Kettle部署涉及到多语言支持,确保安装并更新ICU库也是必要的。在Debian/Ubuntu系统中,你可以这样安装: ```bash sudo apt-get install libicu-dev ``...
### Kettle源码部署知识点详解 #### 一、Kettle简介与价值 Kettle是一款知名的开源ETL(Extract-Transform-Load)工具,以其强大的功能和直观易用的图形界面著称。它允许用户轻松地从多种数据源抽取数据,进行必要...
kettle集群(cluster)在多个服务器上并发执行是指通过将kettle部署在多个服务器上,实现分布式数据处理和排序的目的。这种方法可以大大提高数据处理的效率和速度,特别是在大数据量的情况下。 以下是kettle集群在...
总的来说,基于Kettle的Web版ETL工具将Kettle的强大功能与Web的便利性结合在一起,提供了一种直观且易于部署的数据处理解决方案。无论是对于初学者还是经验丰富的数据工程师,都能从中受益,快速实现数据抓取、清洗...
### Kettle 安装部署与使用手册 #### 一、Kettle简介与重要性 Kettle是一款开源的数据集成工具,提供了强大的数据抽取、转换、加载(ETL)功能。它支持多种数据源,并且可以通过图形界面进行操作,极大地方便了...
"Kettle部署"章节将详细说明如何在生产环境中部署和管理Kettle。这可能涉及服务器配置、性能优化、集群设置以及与数据库、ETL工具和其他系统的集成。此外,还可能讨论如何设置日志记录和监控,以确保Kettle的稳定...
kettleaarch64架构包
2. **Kettle部署** - **Kettle安装**:完成JDK的安装后,将Kettle解压缩到指定目录。在Linux环境下,可以使用`spoon.sh`启动Kettle的图形化工具Spoon。在Windows中,可以运行`Spoon.bat`或通过`Kettle.exe`启动。...
"Kettle安装部署及实例演示" Kettle是一种数据集成工具,能够将不同的数据源连接起来,实现数据的集成和转换。本文档将详细介绍Kettle的安装部署和实例演示,包括Java的安装部署、Kettle的安装部署和Kettle的开发...
【Kettle部署】 部署Kettle主要包括以下几个步骤: 1. 下载Kettle软件,同时如果未安装JDK,需要先下载并安装JDK。 2. 设置环境变量pentaho_java_home,指向JDK的安装路径。 3. 解压缩Kettle至指定文件夹,双击...