本月博客排行
-
第1名
Xeden -
第2名
fantaxy025025 -
第3名
bosschen - paulwong
- johnsmith9th
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - gengyun12
- wy_19921005
- vipbooks
- e_e
- benladeng5225
- ranbuijj
- wallimn
- javashop
- jickcai
- fantaxy025025
- zw7534313
- qepwqnp
- robotmen
- 解宜然
- ssydxa219
- sam123456gz
- zysnba
- sichunli_030
- tanling8334
- arpenker
- gaojingsong
- xpenxpen
- kaizi1992
- wiseboyloves
- jh108020
- xyuma
- ganxueyun
- wangchen.ily
- xiangjie88
- Jameslyy
- luxurioust
- mengjichen
- lemonhandsome
- jbosscn
- nychen2000
- zxq_2017
- lzyfn123
- wjianwei666
- forestqqqq
- ajinn
- siemens800
- hanbaohong
- 狂盗一枝梅
- java-007
- zhanjia
- 喧嚣求静
- Xeden
最新文章列表
对kettle中share.xml的误解
我们原来以为kettle的share.xml只在编辑kjb和ktr时才起作用。但是经过今天报错测试,对该文件又有新的认知。
在ktr,kjb运行的时候share.xml也会被读取且起到关键作用,数据库的配置信息首先从该文件读取,如果该文件内不存在才会从执行的文件中读取数据库连接信息。
也就是说share.xml的数据库连接信息比你要执行的文件中的数据库连接信息更重要。
但是,如果不存在shar ...
Kettle笔记
1、Kettle安装在windows xp上的时候,如果调大Xmx到1024M的时候,有时候会无法启动,而win7就不会。32位win7最大能调Xmx至1200M左右。
2、Kettle4.3默认缺少了oracle的jdbc驱动,可以将驱动丢至主目录的libext/JDBC下。
3、Kettle安装后,所带的oracle的jdbc驱动不支持读写字符集为简体中文集的Oracle数据库,可将ojdbc6 ...
用Kettle的一套流程完成对整个数据库迁移
需求:
1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。
2.你是否还在使用kettle重复的画着:表输入-表输出、创建表,而烦恼。
下面为你实现了一套通用的数据库迁移流程。
技术引导:
实现之初,在kettle提供的例子中找到了一个类似的(samples\jobs\process all tables)。
通过相关改造,终于达到目标。
实现过程解剖:
整套流程分为: ...
kettle的bug
在kettle中的kettle-core.jar中存在一个bug,导致kjb在spoon中执行同在kitchen执行和调用api的时候执行结果不一样,体现在变量替换中如果要替换的变量不存在的时候,在spoon中替换为空,在kitchen中则不替换。
具体bug所在位置为:org.pentaho.di.core.util.StringUtil中的53行。
原来为
int i = rest.indexO ...
kettle学习示例
1.从email下载一个EXCEL文件(文件格式:A_YYYYMMDD.xls),装载、转换,把文件改名为B_yyyymmdd.xls(日期要求:源文件上月同期) 发送到指定邮箱
2.A表 10000条数据,拷贝到B表,然后B表随机删1000条数据,找出删除的数据
3.有一个表10000条数据,要删除里面重复的数据,同时保留的那条是最近插入的那条。。。。这个要怎么做.
4.kettle前一个步骤中 ...
数据建模,ODS模型分析
根据ODS系统解决的不同的数据问题,将ODS模型将数据按三层进行管理:分别针对细节级数据、汇总型数据和分析型数据,每个区域有自己的管理重点。下面分别介绍。
基础数据层(FDM:FOUNDATION DATA MODLE)。来源于标准化的各源系统提供的业务基础数据。基础数据层的数据粒度为细节级数据。存储从源系统抽取的业务基础数据。这些数据经过清洗、标准化,主要是操作型数据和参数数据。基础数据 ...
KETTLE 并行任务设置
为提高任务执行效率,同时也保证任务执行时的无相关性,(串行操作往往依赖上个任务的执行结果)并行操作势在必行。
见图中设置,step即变为绿色虚线条,各个transaction之间不存在依赖性。
手机扫一扫,欢迎关注公众号
关注程序员成长
KETTLE 异常处理
kettle未能正常执行任务时,同样需要记录下来执行操作,以便分析任务异常。
红色线条代表任务异常时执行的任务,绿色为正常执行的任务序列。
任务执行时都有日志记录,但kettle日志表中字段存在执行时间,但不存在业务日期字段。比如今天的任务执行的是T日期的数据,日志中就无法反应出来此任务执行的何时的任务,由此业务延伸出的任务设置就需要在日志表中增加业务日期字段,并且在任务执行结束后 ...
Kettle最佳实践
一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。
二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。
三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。
四、在数据库去重时,使用普通索引而不是唯一性索引。
五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注 ...
Kettle转换步骤插件开发简介
也可参见本人百度文库:Pantaho Kettle插件开发
1 Kettle
1.1 Kettle介绍
社区版kettle下载地址:http://community.pentaho.com/projects/data-integration/
#pdi-ce-7.0.0.0-25下载
wget https://netix ...
在应用程序中集成kettle
设计好transformation和job后,如何在java里面调用执行呢?
首先,需要在项目中引入执行kettle所需要的jar包:
除了系统jre之外,以上红色标记的外部jar包(可以在kettle对应的目录下找到)都是必须引入的资源,否则,程序不能正常运行;我自己的做的例子中需要写xls文件,所以用到了jxl.jar。
另外,将kettle目录下plu ...
java 调用kettle4 的transaction和job
项目中要用到用Java代码调用Kettle脚本,于是找kettle官方资料,用他们提供的jar包,通过java代码来运行kettle脚本。发现官方提供的实例都只能用于kettle3.0版的脚本,4.0的根本不支持。反复搜索,终于在Matt的新书的附件中找到了Kettle 4.0 API的相关资料,该地址是:ftp://download:download@mediaftp.wiley.com/ ...
kettle-表输出
1.字段刷新
修改了表结构,输入控件【表输出】的字段值却修改不掉。经过验证是在连接管理中。编辑【表输出】的属性,选择【数据库连接】【编辑】,选择【浏览】,点击这张表,在弹出界面中选择【action】【DDL】【use current connection】,在弹出界面中选择【清除缓存】
2. 批量插入
当目标数据库为PostgreSQL时,把【使用批量 ...
Kettle数据抽取(转换)出现乱码问题解决方法
转 Kettle数据抽取(转换)出现乱码问题解决方法
在kettle中进行数据抽取,如果抽取的源数据库和目标数据库不是同一个数据库,可能会导致转换后的中文出现乱码情况,原因是由于在中文环境下有的数据库客户端默认编码格式是UTF-8,而另外的数据库编码格式是GBK,这样就导致数据乱码的情况出现。
针对这个问题,只需要在Database connection中做一个配置即可,具体步骤如下:
...