最新文章列表

对kettle中share.xml的误解

我们原来以为kettle的share.xml只在编辑kjb和ktr时才起作用。但是经过今天报错测试,对该文件又有新的认知。 在ktr,kjb运行的时候share.xml也会被读取且起到关键作用,数据库的配置信息首先从该文件读取,如果该文件内不存在才会从执行的文件中读取数据库连接信息。 也就是说share.xml的数据库连接信息比你要执行的文件中的数据库连接信息更重要。 但是,如果不存在shar ...
hfwork 评论(0) 有2373人浏览 2013-04-09 11:44

Kettle笔记

1、Kettle安装在windows xp上的时候,如果调大Xmx到1024M的时候,有时候会无法启动,而win7就不会。32位win7最大能调Xmx至1200M左右。 2、Kettle4.3默认缺少了oracle的jdbc驱动,可以将驱动丢至主目录的libext/JDBC下。 3、Kettle安装后,所带的oracle的jdbc驱动不支持读写字符集为简体中文集的Oracle数据库,可将ojdbc6 ...
cutesunshineriver 评论(0) 有4086人浏览 2013-03-18 16:15

ETL Kettle发送邮件时发送失败!高手指点!

错误日志!请高手解答!      
javawangli 评论(1) 有2004人浏览 2013-03-07 10:19

用Kettle的一套流程完成对整个数据库迁移

需求: 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着:表输入-表输出、创建表,而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导: 实现之初,在kettle提供的例子中找到了一个类似的(samples\jobs\process all tables)。 通过相关改造,终于达到目标。 实现过程解剖: 整套流程分为: ...
ainidehsj 评论(22) 有91152人浏览 2012-11-26 16:51

Use Java to run kitchen

Cmd.java package com.simonftxy.core; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; public class Cmd { public static ...
岩城天壹 评论(0) 有1254人浏览 2012-10-29 22:05

kettle的第二个bug

在做数据抽取的时候如果是直接从dbinput读入数据写入dbouput中,从input中读取到的空字符串会在dboutput时转化为null.
hfwork 评论(0) 有751人浏览 2012-09-18 10:58

kettle的bug

在kettle中的kettle-core.jar中存在一个bug,导致kjb在spoon中执行同在kitchen执行和调用api的时候执行结果不一样,体现在变量替换中如果要替换的变量不存在的时候,在spoon中替换为空,在kitchen中则不替换。 具体bug所在位置为:org.pentaho.di.core.util.StringUtil中的53行。 原来为 int i = rest.indexO ...
hfwork 评论(1) 有3184人浏览 2012-09-14 15:24

kettle学习示例

1.从email下载一个EXCEL文件(文件格式:A_YYYYMMDD.xls),装载、转换,把文件改名为B_yyyymmdd.xls(日期要求:源文件上月同期) 发送到指定邮箱 2.A表 10000条数据,拷贝到B表,然后B表随机删1000条数据,找出删除的数据 3.有一个表10000条数据,要删除里面重复的数据,同时保留的那条是最近插入的那条。。。。这个要怎么做. 4.kettle前一个步骤中 ...
ainidehsj 评论(2) 有2447人浏览 2012-07-04 16:49

数据建模,ODS模型分析

  根据ODS系统解决的不同的数据问题,将ODS模型将数据按三层进行管理:分别针对细节级数据、汇总型数据和分析型数据,每个区域有自己的管理重点。下面分别介绍。 基础数据层(FDM:FOUNDATION DATA MODLE)。来源于标准化的各源系统提供的业务基础数据。基础数据层的数据粒度为细节级数据。存储从源系统抽取的业务基础数据。这些数据经过清洗、标准化,主要是操作型数据和参数数据。基础数据 ...
guooo 评论(2) 有5306人浏览 2012-05-09 16:06

KETTLE 并行任务设置

为提高任务执行效率,同时也保证任务执行时的无相关性,(串行操作往往依赖上个任务的执行结果)并行操作势在必行。   见图中设置,step即变为绿色虚线条,各个transaction之间不存在依赖性。 手机扫一扫,欢迎关注公众号 关注程序员成长
guooo 评论(0) 有2318人浏览 2012-05-09 15:51

KETTLE 异常处理

kettle未能正常执行任务时,同样需要记录下来执行操作,以便分析任务异常。   红色线条代表任务异常时执行的任务,绿色为正常执行的任务序列。   任务执行时都有日志记录,但kettle日志表中字段存在执行时间,但不存在业务日期字段。比如今天的任务执行的是T日期的数据,日志中就无法反应出来此任务执行的何时的任务,由此业务延伸出的任务设置就需要在日志表中增加业务日期字段,并且在任务执行结束后 ...
guooo 评论(3) 有4818人浏览 2012-05-09 15:47

Kettle的一些常见问题(转)

摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案   1. Join ...
sunrise_king 评论(0) 有4857人浏览 2012-05-07 00:25

Kettle最佳实践

一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。 二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。 三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。 四、在数据库去重时,使用普通索引而不是唯一性索引。 五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注 ...
cutesunshineriver 评论(4) 有2169人浏览 2012-04-25 18:20

另外一个神奇的ETL工具,KETTLE

补充一下,我们之前调研过的一个ETL开源项目是  Kettle,这个应该没有CR-X那么强大,还支持流式数据(streaming) KETTLE        Kettle是一款国外开源的etl工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。   这个ETL的开源项目的名称,很有意思,直译中文为“水壶”。按项目负责人Matt的说法:把各种数据发 ...
flyqantas 评论(0) 有1894人浏览 2012-04-20 19:37

Kettle转换步骤插件开发简介

也可参见本人百度文库:Pantaho Kettle插件开发 1       Kettle 1.1     Kettle介绍     社区版kettle下载地址:http://community.pentaho.com/projects/data-integration/            #pdi-ce-7.0.0.0-25下载 wget https://netix ...
zilongzilong 评论(3) 有3548人浏览 2012-03-29 14:08

在应用程序中集成kettle

  设计好transformation和job后,如何在java里面调用执行呢?   首先,需要在项目中引入执行kettle所需要的jar包:     除了系统jre之外,以上红色标记的外部jar包(可以在kettle对应的目录下找到)都是必须引入的资源,否则,程序不能正常运行;我自己的做的例子中需要写xls文件,所以用到了jxl.jar。   另外,将kettle目录下plu ...
guooo 评论(0) 有2167人浏览 2012-02-09 16:53

java 调用kettle4 的transaction和job

  项目中要用到用Java代码调用Kettle脚本,于是找kettle官方资料,用他们提供的jar包,通过java代码来运行kettle脚本。发现官方提供的实例都只能用于kettle3.0版的脚本,4.0的根本不支持。反复搜索,终于在Matt的新书的附件中找到了Kettle 4.0 API的相关资料,该地址是:ftp://download:download@mediaftp.wiley.com/ ...
guooo 评论(3) 有12520人浏览 2012-02-09 16:33

kettle-表输出

   1.字段刷新        修改了表结构,输入控件【表输出】的字段值却修改不掉。经过验证是在连接管理中。编辑【表输出】的属性,选择【数据库连接】【编辑】,选择【浏览】,点击这张表,在弹出界面中选择【action】【DDL】【use current connection】,在弹出界面中选择【清除缓存】    2. 批量插入        当目标数据库为PostgreSQL时,把【使用批量 ...
zhouzhk 评论(0) 有6447人浏览 2012-01-15 17:08

Kettle数据抽取(转换)出现乱码问题解决方法

转 Kettle数据抽取(转换)出现乱码问题解决方法 在kettle中进行数据抽取,如果抽取的源数据库和目标数据库不是同一个数据库,可能会导致转换后的中文出现乱码情况,原因是由于在中文环境下有的数据库客户端默认编码格式是UTF-8,而另外的数据库编码格式是GBK,这样就导致数据乱码的情况出现。 针对这个问题,只需要在Database connection中做一个配置即可,具体步骤如下: ...
duguyiren3476 评论(0) 有13033人浏览 2012-01-14 15:32

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics