`

kettle部署

阅读更多
1.将jmbi sql先上生产环境, 参考附件jmbi.sql

2.kettle安装部署
选好目标机器,装好jdk1.8 然后登录测试环境192.168.1.142,复制kettle安装文件,job,shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho

修改.kettle文件夹下的kettle.properties配置为生产环境DB连接,hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job


安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log


3.hbase建表,参考附件jmbi_hbase.txt


4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master(10.88.13.16)机器上,比如测试环境的192.168.1.141, 只是这一台就可以了
jmbitaskmr.sh 到hadoop master(10.88.13.16)上,
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh


5.service部署,运维常规部署


6.web部署,运维常规部署

7.数据采集spider常规部署,增加了短信提醒功能
分享到:
评论

相关推荐

    linux centos环境kettle部署与定时作业执行

    Linux Centos 环境 Kettle 部署与定时作业执行 Linux Centos 环境 Kettle 部署与定时作业执行是指在 Linux Centos 环境中部署 Kettle 工具,并配置定时作业执行。下面将详细介绍 Kettle 部署和定时作业执行的步骤...

    Kettle部署操作手册

    ### Kettle部署操作手册知识点详解 #### 一、Kettle简介 Kettle是一款国外开源的ETL(Extract-Transform-Load)工具,以其高效的性能和稳定性受到广泛欢迎。这款工具完全采用Java语言编写,能够在多种操作系统上...

    03.kettle部署.mp4

    kettle是一个数据抽取的ETL工具,能让大家对大数据迁移更加的帮忙,不再需要面对java接口同步的痛苦。第三章:kettle部署

    Kettle Linux环境部署.docx

    Kettle部署完成后,你可能需要设置定时任务来自动化Job的执行。Linux系统中的定时任务通常通过`crontab`命令实现。`crontab`命令用于定义周期性任务,比如每天、每周或每月的特定时间执行Job。通过`crontab -e`编辑...

    解决Linux部署kettle报错缺少libwebkitgtk问题

    虽然在解决libwebkitgtk的问题中它不是直接相关的,但如果你的Kettle部署涉及到多语言支持,确保安装并更新ICU库也是必要的。在Debian/Ubuntu系统中,你可以这样安装: ```bash sudo apt-get install libicu-dev ``...

    kettle9.2所需jdbc驱动下载,sqlserver mysql

    标题中的“kettle9.2所需jdbc驱动下载,sqlserver mysql”揭示了本文将要讨论的是关于Kettle 9.2版本的数据集成工具与数据库连接的相关内容,特别是针对SQL Server和MySQL数据库的JDBC驱动。Kettle,也被称为Pentaho...

    【kettle】10分钟搞定kettle源码部署

    ### Kettle源码部署知识点详解 #### 一、Kettle简介与价值 Kettle是一款知名的开源ETL(Extract-Transform-Load)工具,以其强大的功能和直观易用的图形界面著称。它允许用户轻松地从多种数据源抽取数据,进行必要...

    kettle集群(cluster)在多个服务器上并发执行

    kettle集群(cluster)在多个服务器上并发执行是指通过将kettle部署在多个服务器上,实现分布式数据处理和排序的目的。这种方法可以大大提高数据处理的效率和速度,特别是在大数据量的情况下。 以下是kettle集群在...

    ETL工具 ,基于Kettle实现的Web版ETL工具

    总的来说,基于Kettle的Web版ETL工具将Kettle的强大功能与Web的便利性结合在一起,提供了一种直观且易于部署的数据处理解决方案。无论是对于初学者还是经验丰富的数据工程师,都能从中受益,快速实现数据抓取、清洗...

    Kettle安装部署-调度-使用手册

    ### Kettle 安装部署与使用手册 #### 一、Kettle简介与重要性 Kettle是一款开源的数据集成工具,提供了强大的数据抽取、转换、加载(ETL)功能。它支持多种数据源,并且可以通过图形界面进行操作,极大地方便了...

    Kettle文档.zip

    "Kettle部署"章节将详细说明如何在生产环境中部署和管理Kettle。这可能涉及服务器配置、性能优化、集群设置以及与数据库、ETL工具和其他系统的集成。此外,还可能讨论如何设置日志记录和监控,以确保Kettle的稳定...

    kettle aarch64 swt.jar

    kettleaarch64架构包

    kettle学习笔记.docx

    2. **Kettle部署** - **Kettle安装**:完成JDK的安装后,将Kettle解压缩到指定目录。在Linux环境下,可以使用`spoon.sh`启动Kettle的图形化工具Spoon。在Windows中,可以运行`Spoon.bat`或通过`Kettle.exe`启动。...

    Kettle安装部署及实例演示

    "Kettle安装部署及实例演示" Kettle是一种数据集成工具,能够将不同的数据源连接起来,实现数据的集成和转换。本文档将详细介绍Kettle的安装部署和实例演示,包括Java的安装部署、Kettle的安装部署和Kettle的开发...

Global site tag (gtag.js) - Google Analytics