博客首页 → kettle

最新文章列表

对kettle中share.xml的误解

我们原来以为kettle的share.xml只在编辑kjb和ktr时才起作用。但是经过今天报错测试，对该文件又有新的认知。 在ktr,kjb运行的时候share.xml也会被读取且起到关键作用，数据库的配置信息首先从该文件读取，如果该文件内不存在才会从执行的文件中读取数据库连接信息。 也就是说share.xml的数据库连接信息比你要执行的文件中的数据库连接信息更重要。 但是，如果不存在shar ...
kettle 
hfwork 评论(0) 有2376人浏览 2013-04-09 11:44

Kettle笔记

1、Kettle安装在windows xp上的时候，如果调大Xmx到1024M的时候，有时候会无法启动，而win7就不会。32位win7最大能调Xmx至1200M左右。 2、Kettle4.3默认缺少了oracle的jdbc驱动，可以将驱动丢至主目录的libext/JDBC下。 3、Kettle安装后，所带的oracle的jdbc驱动不支持读写字符集为简体中文集的Oracle数据库，可将ojdbc6 ...
Kettle 
cutesunshineriver 评论(0) 有4091人浏览 2013-03-18 16:15

ETL Kettle发送邮件时发送失败！高手指点!

错误日志!请高手解答！      
Kettle邮件 
javawangli 评论(1) 有2005人浏览 2013-03-07 10:19

用Kettle的一套流程完成对整个数据库迁移

需求： 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导： 实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\process all tables）。 通过相关改造，终于达到目标。 实现过程解剖： 整套流程分为： ...
kettle 
ainidehsj 评论(22) 有91169人浏览 2012-11-26 16:51

Use Java to run kitchen

Cmd.java package com.simonftxy.core; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; public class Cmd { public static ...
Javacmdkitchenkettle 
岩城天壹 评论(0) 有1256人浏览 2012-10-29 22:05

kettle的第二个bug

在做数据抽取的时候如果是直接从dbinput读入数据写入dbouput中，从input中读取到的空字符串会在dboutput时转化为null.
kettle 
hfwork 评论(0) 有755人浏览 2012-09-18 10:58

kettle的bug

在kettle中的kettle-core.jar中存在一个bug，导致kjb在spoon中执行同在kitchen执行和调用api的时候执行结果不一样，体现在变量替换中如果要替换的变量不存在的时候，在spoon中替换为空，在kitchen中则不替换。 具体bug所在位置为：org.pentaho.di.core.util.StringUtil中的53行。 原来为 int i = rest.indexO ...
kettle 
hfwork 评论(1) 有3190人浏览 2012-09-14 15:24

kettle学习示例

1.从email下载一个EXCEL文件（文件格式：A_YYYYMMDD.xls），装载、转换，把文件改名为B_yyyymmdd.xls(日期要求：源文件上月同期) 发送到指定邮箱 2.A表 10000条数据，拷贝到B表，然后B表随机删1000条数据,找出删除的数据 3.有一个表10000条数据，要删除里面重复的数据，同时保留的那条是最近插入的那条。。。。这个要怎么做. 4.kettle前一个步骤中 ...
kettleETL 
ainidehsj 评论(2) 有2454人浏览 2012-07-04 16:49

数据建模，ODS模型分析

  根据ODS系统解决的不同的数据问题，将ODS模型将数据按三层进行管理：分别针对细节级数据、汇总型数据和分析型数据，每个区域有自己的管理重点。下面分别介绍。 基础数据层（FDM：FOUNDATION DATA MODLE）。来源于标准化的各源系统提供的业务基础数据。基础数据层的数据粒度为细节级数据。存储从源系统抽取的业务基础数据。这些数据经过清洗、标准化，主要是操作型数据和参数数据。基础数据 ...
kettle数据模型 
guooo 评论(2) 有5306人浏览 2012-05-09 16:06

KETTLE 并行任务设置

为提高任务执行效率，同时也保证任务执行时的无相关性，（串行操作往往依赖上个任务的执行结果）并行操作势在必行。   见图中设置，step即变为绿色虚线条，各个transaction之间不存在依赖性。 手机扫一扫，欢迎关注公众号 关注程序员成长
kettle并行 
guooo 评论(0) 有2318人浏览 2012-05-09 15:51

KETTLE 异常处理

kettle未能正常执行任务时，同样需要记录下来执行操作，以便分析任务异常。   红色线条代表任务异常时执行的任务，绿色为正常执行的任务序列。   任务执行时都有日志记录，但kettle日志表中字段存在执行时间，但不存在业务日期字段。比如今天的任务执行的是T日期的数据，日志中就无法反应出来此任务执行的何时的任务，由此业务延伸出的任务设置就需要在日志表中增加业务日期字段，并且在任务执行结束后 ...
kettle日志处理 
guooo 评论(3) 有4818人浏览 2012-05-09 15:47

Kettle的一些常见问题(转)

摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 　　1. Join ...
kettle 
sunrise_king 评论(0) 有4865人浏览 2012-05-07 00:25

Kettle最佳实践

一、当输入对象为CSV文件时，将NIO Buffer Size从默认的50000改到最佳的200000。 二、当输出对象为表输出时，将提交记录数量从默认的1000改到最佳的4000。 三、尽可能关闭转换过程中一切与数据库相关的日志，如表日志、索引日志等。 四、在数据库去重时，使用普通索引而不是唯一性索引。 五、在插入数据之前，先使索引unusable，数据导完之后再rebuild索引。需要注 ...
kettlewindowslinux 
cutesunshineriver 评论(4) 有2173人浏览 2012-04-25 18:20

另外一个神奇的ETL工具，KETTLE

补充一下，我们之前调研过的一个ETL开源项目是  Kettle，这个应该没有CR-X那么强大，还支持流式数据（streaming） KETTLE 　　     Kettle是一款国外开源的etl工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 　　这个ETL的开源项目的名称，很有意思，直译中文为“水壶”。按项目负责人Matt的说法：把各种数据发 ...
kettleetljava 
flyqantas 评论(0) 有1897人浏览 2012-04-20 19:37

Kettle转换步骤插件开发简介

也可参见本人百度文库：Pantaho Kettle插件开发 1       Kettle 1.1     Kettle介绍     社区版kettle下载地址：http://community.pentaho.com/projects/data-integration/            #pdi-ce-7.0.0.0-25下载 wget https://netix ...
Kettle转换步骤插件开发简介 
zilongzilong 评论(3) 有3552人浏览 2012-03-29 14:08

在应用程序中集成kettle

  设计好transformation和job后，如何在java里面调用执行呢？   首先，需要在项目中引入执行kettle所需要的jar包：     除了系统jre之外，以上红色标记的外部jar包(可以在kettle对应的目录下找到)都是必须引入的资源，否则，程序不能正常运行；我自己的做的例子中需要写xls文件，所以用到了jxl.jar。   另外，将kettle目录下plu ...
kettleetl 
guooo 评论(0) 有2167人浏览 2012-02-09 16:53

java 调用kettle4 的transaction和job

  项目中要用到用Java代码调用Kettle脚本，于是找kettle官方资料，用他们提供的jar包，通过java代码来运行kettle脚本。发现官方提供的实例都只能用于kettle3.0版的脚本，4.0的根本不支持。反复搜索，终于在Matt的新书的附件中找到了Kettle 4.0 API的相关资料，该地址是：ftp://download:download@mediaftp.wiley.com/ ...
etlkettle 
guooo 评论(3) 有12520人浏览 2012-02-09 16:33

kettle-表输出

   1.字段刷新        修改了表结构，输入控件【表输出】的字段值却修改不掉。经过验证是在连接管理中。编辑【表输出】的属性，选择【数据库连接】【编辑】，选择【浏览】，点击这张表，在弹出界面中选择【action】【DDL】【use current connection】,在弹出界面中选择【清除缓存】    2. 批量插入        当目标数据库为PostgreSQL时，把【使用批量 ...
kettle 
zhouzhk 评论(0) 有6450人浏览 2012-01-15 17:08

Kettle数据抽取（转换）出现乱码问题解决方法

转 Kettle数据抽取（转换）出现乱码问题解决方法 在kettle中进行数据抽取，如果抽取的源数据库和目标数据库不是同一个数据库，可能会导致转换后的中文出现乱码情况，原因是由于在中文环境下有的数据库客户端默认编码格式是UTF-8，而另外的数据库编码格式是GBK，这样就导致数据乱码的情况出现。 针对这个问题，只需要在Database connection中做一个配置即可，具体步骤如下： ...
kettlebi 
duguyiren3476 评论(0) 有13044人浏览 2012-01-14 15:32

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics