文章列表
部分Kettle版本部署集群时会遇到如下问题：
需要修改源码，添加服务器列表
在方法private void checkClusterConfiguration()中添加如下代码：
//update by caiyy for slaveServers
List<SlaveServer> slaveServers= this.originalTransformation.getSlaveServers();
clusterSchema.setSlaveServers(slaveServers);
本实验使用的服务器：
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务，其中一台为Master另外三台为Slave，来实现在Kettle的Spoon中对mysql数据库中数据表读取后，以集群方式来执行排序的过程。
Carte的配置文件所在路径：F:\BDE\kettle\data-integration\pwd
（1）主服务器（carte-config-master-8080.xml）的配置内容为：
<slaves ...
用例脚本如下
1：主对象树->转换->子服务器
2:选择子服务器->新建
3：选中需要集群的步骤->右键->选择集群，插件上出现如下图标
4：点击运行脚本->选择集群运行
kettle数据库编码问题
- 博客分类：
- kettle脚本编辑
1:在DB连接处找到需要编码的库
2:设置编码，在弹出的Database Connection中选择Options选项，在Parameters下填入参数“characterEncoding”，其value为“gbk”，如下图。
数据采集过程中经常会遇到入库慢,解决这个问题则首先需要脚本设计人员对插件的用法,其次要知道如何检查数据库的性能,很多情况下都是数据库本身优化不到位造成的
数据库优化
1:检查数据库sga,pga的使用情况
(1)系统全局域：
SGA与操作系统、内存大小、cpu、同时登录的用户数有关。可占OS系统物理内存的1/3到1/2。
a.共享池：
查看共享SQL区的使用率：
Sql代码 收藏代码
select(sum(pins-reloads))/sum(pins) "Library cache" from v$librarycache;--动态性能表
这个使用率应该 ...
数据采集过程中使用插入/更新插件需要注意：
1：关键字段查询，需要目标库不存在相同关键字段的数据，否则会多数据，如果存在类似的情况需要替换成表输出插件。
2：更新字段，更新选择Y/N分别代表 修改数据和不修改数据。
kettle系列之常见问题
- 博客分类：
- kettle脚本编辑
1. Join
我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.
这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含join key ,join key 可以是一个字段也可以是多个字段。如果两个数据流没有join key ,那么它们就是在做笛卡尔积，一般很少会这样。比如你现在需要列出一个员工的姓名和他所在部门的姓名，如果这是在同一个数据库，大家都知道会在一个sql 里面加上where ...
性能测试报告
- 博客分类：
- kettle脚本编辑
1 测试内容
模拟数据采集的整个过程，记录整个采集过程所用时间，以及每个采集子过程所用的时间，监控TOMCAT资源利用情况、应用服务器的资源利用情况，找出性能瓶颈所在。调整各方面的配置参数，优化性能。
1.1 源库XML包：
<?xml version="1.0" encoding="UTF-8"?>
<MHC_BabyVisitInfo>
<PregnantID de="DEX04.01.001.01">
0000000000026888</PregnantID>
<Bab ...
基于kettle版本5.4.0.1-130
1：实现类
2:JSONToStringMeta
说明：配置标签@Step(),初始化程序
extends BaseStepMeta :继承BaseStepMeta
implements StepMetaInterface :实现接口StepMetaInterface
整个代码的执行过程是：先运行配置标签meta类型,通过meta类找到Dialog类，当运行脚本时调用实现类
@Step(id="bsoft-json", image="JSO.png", name="JSONToString&q ...