博客首页 → kettle

最新文章列表

使用Kettle进行数据迁移（ETL）

由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的ETL工具来解决。某日，技术经理让我找一个满足我们项目数据迁移需求的稳定、高效ETL工具。google ...
kettle通过字段选择表迁移 
zihai367 评论(0) 有2659人浏览 2015-12-10 09:36

java程序生成kettle转换ktr文件

说明：C:\Users\Administrator\esapi下ESAPI.properties和validation.properties   package rh; import java.io.File; public class TransDemo { public static TransDemo transDemo; /** ...
kettlejava程序生成kettle文件 
zihai367 评论(0) 有2274人浏览 2015-12-09 12:49

Java程序调用kettle中的job（.kjb）和Trans（.ktr）

  package com.p.serv.util; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.exception.KettleXMLException; import o ...
kettleJava程序调用kettle 
zihai367 评论(0) 有2315人浏览 2015-12-09 12:46

开源ETL工具kettle--数据迁移

 背景 由于项目的需求，需要将数据从Oracle迁移到MSSQL，不是简单的数据复制，而是表结构和字段名都不一样，甚至需要处理编码规范不一致的情况，如下图所示      注意：Oracle和MSSQL中的同名表的字段名是不相同的 如果要是采用手工SQL语句操作的话会很麻烦，需要考虑 Oracle和MSSQL SQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约 ...
oracle数据迁移ETL工具ETLkettle 
zihai367 评论(0) 有1606人浏览 2015-12-03 10:36

kettle动态设置输入文件路径

一般生产环境的导入文件的路径都是动态的，比如根据日期，每天生成一个文件夹。这样就要kettle导入的文件路径是个变量。最好定义到数据库中。 我的这个例子就是从数据库读取文件路径,文本文件的路径使用变量： 下边是一些截图。代码可以下载 (1) (2) (3)
kettleetl 
skying007 评论(2) 有5418人浏览 2015-06-27 10:18

Kettle学习资料分享，附大神用Kettle的一套流程完成对整个数据库迁移方法

Kettle学习资料分享   Kettle 3.2 使用说明书 目录 概述..........................................................................................................................................7 1.Kettle 资源库管理.... ...
Kettle 
Kai_Ge 评论(1) 有10556人浏览 2015-06-03 15:43

kettle数据库同步中文乱码

问题 目标库的表中的中文出现乱码 场景数据库：MySql 源库：UTF-8编码 目标库：UTF8编码 数据库所在的操作系统：Linux kettle版本：4.4 启动方式：Spoon 运行方式：转换 流程：【表输入】->【表输出】 kettle所在的操作系统：WIN7 解决方案 在数据库连接的【Options】选项卡中增加characterEncoding属性，值为U ...
kettle乱码 
csolar 评论(0) 有3090人浏览 2015-03-12 12:48

ubuntu server下python脚本迁移数据

因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql， 但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysq ...
pythonpymysqlcx_Oracleubuntu serverkettle 
cywhoyi 评论(1) 有1839人浏览 2015-01-14 11:35

kettle

private static void getSubDir(RepositoryDirectoryInterface rootDir,List dataList) { Map map=new HashMap(); map.put("id", rootDir.getName()); map.put("text", rootDir.ge ...
pentahokettle 
zhaizhisheng 评论(0) 有905人浏览 2014-12-26 15:32

Kettle循环调用的实现

  今天来和大家讲一下Kettle的一些基础应用，本文包括如何将转换中的结果转出到作业中；转换如何从父作业中获取上一个转换写入的数据；以及设置变量和获取变量的用法。不多说先看最终的作业和转换。 作业：    转换1：    转换3：        这里先说一下思路，在Mysql数据库中保存了一些数据，第一个转换从数据库读取数据并把一些参数设置到环境变量中，第二个转换读取第一个转换获取 ...
pentahodatabasekettle 
zhaizhisheng 评论(0) 有11848人浏览 2014-12-26 14:49

数据层交换和高性能并发处理

数据层交换和高性能并发处理(开源ETL大数据治理工具--KETTLE使用及二次开发 ) http://www.ibeifeng.com/goods-313.html 咨询QQ2110053820 课程讲师：李傲 课程分类：大数据 适合人群：高级 课时数量：15课时 更新程度：完毕 用到技术：KETTLE、spoon使用 涉及项目：源码分析、二次开发、流程设计 课程大纲： 1.ETL简介—开源 ...
大数据高性能并发KETTLE 
屠苏恋晴雪 评论(0) 有24人浏览 2014-10-20 16:58

kettl入门教程三

http://www.cnofe.com.cn/web/cont_e810512980884c8c92089088a824678f.html
kettleetl 
tommy_jaja 评论(0) 有541人浏览 2014-08-27 16:59

kettle入门教程二

http://www.cnofe.com.cn/web/cont_c90a3a51b0cc4066b003389954f45b9c.html
kettleetl 
tommy_jaja 评论(0) 有520人浏览 2014-08-27 16:57

kettle 入门教程一

http://www.cnofe.com.cn/web/cont_48846ae78e0e4162b7f807d5665b333e.html
kettleetl 
tommy_jaja 评论(0) 有882人浏览 2014-08-27 16:55

Kettle表复制

pm.ktr脚本如下（提取码 297b）： 其中 表输入如下： 获取系统信息详情如下： 增加常量详情如下： 插入/更新详情如下： 执行SQL脚本详情如下(用于标注源表该记录已上传)： 本次所使用的Kettle版本是 pdi-ce-4.4.0-stable.zip，提取码 7460 源码是 pdi-ce-src-4.4.0-stable-r17588.zip，提取码 a9e2
ETLkettle表复制 
宋建勇 评论(0) 有1368人浏览 2014-08-08 22:21

10倍以上提高Pentaho Kettle的MySQL写入速度

  使用Pentaho Kettle做了个数据抓取入库的程序，大致这个样：     使用文本调测的时候，速度大概7500条/秒，但是换上数据库后，速度只有150条/秒，对于20万左右的数据入库要超过20分钟，这让人没法接受。    使用批量插入好像也没什么效果，依然慢  求助Google，找到了2个参考：    参考1：http://julienhofstede.blogspot.nl ...
性能kettleTable Output性能提升大数据量入库 
hejianhuacn 评论(0) 有2869人浏览 2014-07-22 14:53

used defined java class左侧栏添加自定义方法

在used defined java class左侧栏有很多方法，我们也可以把经常用到的一些方法添加进去，步骤如下 1. 在配置文件中添加自定义方法分类 在org-pentaho.di.trans.steps.userdefinedjavaclass.messages的messages_en_US.properties添加以下代码 # 添加"自定义方法" UserDefi ...
kettle 
z7kevin 评论(1) 有535人浏览 2014-06-13 12:51

关于kettle的Block this step until steps finish插件

kettle的【Flow】下有个【Block this step until steps finish】插件，用于阻塞。就是在【Block this step until steps finish】里面写的步骤完成时，【Block this step until steps finish】后的步骤不会开始运行。 但是需要注意的是，假如【Block this step until steps fini ...
kettle 
z7kevin 评论(0) 有3089人浏览 2014-05-25 19:07

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics