`
cywhoyi
  • 浏览: 420222 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Kettle第一课

 
阅读更多



 

 

 工作快满三年,正式加入数据挖掘、商业智能分析的队伍中去,公司规模不算大,基本上数据仓库也是从零开始,包括我在内也就两人,本想写工具,也设计了方案,但是发现心有余力不足,接触下spoon下ETL工具kettle,入手的版本是current4.3.0 version,问题颇多,就data connection都有问题,然后采用ODBC的方式,下载http://search.oracle.com/search/search?q=ODBC&group=MySQL&x=0&y=0 mysql的ODBC CONNECTION,然后配置系统DSN,问题解决了,但是进入里面进行SQL Editor发现抛

 

An error occurred executing SQL: 
SELECT * FROM ass_admins LIMIT 100
Invalid Fetch Size

 

崩溃死了,国内资料稀缺,到stackoverflow找,同样太坑爹,后来根据网友资料去download源代码,竟然是3.2版本,看了下抛出异常的地段,感觉也没啥问题,纠结了半天。狠下心去下载低版本,同时也在想低版本的话,到时候也能通过源码能够解决下,确实高版本与低版本的差距很大。下了4.1 version,开始稳定了。今天跑了一个最基础的数据迁移的工作。

1.新建转换

2.建立Data Connection

3.新建表输入,新建表输出,拖入到视图页面

4.建立两者的hop信息

5.在表输入页面,SQL的查询;在表输出页面字段属性一一匹配

6.执行,查看日志信息

 

 

  • 大小: 6.5 KB
  • 大小: 41.2 KB
  • 大小: 50.3 KB
分享到:
评论

相关推荐

    kettle执行转换每一行数据

    在IT行业中,Kettle是一款强大的数据集成工具,也被称为Pentaho Data Integration(PDI)。它提供了图形化的界面,使得用户能够通过拖拽的方式构建数据处理流程,包括数据抽取、转换和加载(ETL)任务。在这个场景中...

    kettle设置循环变量

    2. 使用 Trans 脚本实现遍历查询出的表名:由于 Kettle 变量一次只能接收一个值,因此若是要执行查询操作的表为两个或者两个以上,就无法直接使用变量来替换 ${TABLENAME}。需要一个能够存储多个表名的步骤或脚本...

    kettle另一种简单的循环方式

    在IT行业中,Kettle(又称Pentaho Data Integration,PDI)是一款强大的ETL(Extract, Transform, Load)工具,用于数据集成与处理。本文将深入探讨如何利用Kettle实现一种简单的循环方式,特别是在从Oracle源表分页...

    kettle-core-8.1.0.0-365_kettle_kettle达梦8_

    Kettle,也被称为Pentaho Data Integration (PDI),是一款强大的数据集成工具,它提供了一种图形化的界面,让用户能够设计、执行和调度各种数据转换任务。在当前的信息化环境中,数据源多种多样,而达梦数据库作为...

    KETTLE中文官方文档

    Kettle是一款功能强大的数据集成工具,提供了详细的中文官方文档,旨在帮助用户快速上手使用Kettle实现数据集成任务。本文档提供了资源库管理、菜单栏介绍、变量等多方面的知识点,帮助用户深入了解Kettle的使用方法...

    《kettle中访问前一行数据》示例附件

    在数据处理领域,Kettle(Pentaho Data Integration,简称PDI)是一款强大的ETL工具,它提供了丰富的数据转换和加载功能。本示例“《kettle中访问前一行数据》”聚焦于如何在Kettle的数据流中利用前一行的信息进行...

    kettle习题和总结吧

    本篇文章将详细介绍如何使用Kettle实现一个具体的案例——生成指定数量的随机数,并根据这些随机数的大小进行分类统计,最后将结果存储到Excel文件中。 #### 二、具体步骤解析 ##### 1. **生成随机数** - **工具...

    【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL

    【Kettle012】Kettle访问FTP服务器文件并处理数据至PostgreSQL是关于使用Kettle(也称为Pentaho Data Integration,简称PDI)工具进行数据集成的一个具体实例。Kettle是一个开源的数据集成工具,它允许用户通过图形...

    kettle下载-一款免费开源ETL工具

    Kettle,全称为Pentaho Data Integration(简称PDI),是一款功能强大的开源ETL(Extract, Transform, Load)工具,由社区驱动并免费提供。它允许用户从各种数据源抽取数据,进行清洗、转换和加载到不同的目标系统,...

    springboot整合kettle项目源码

    6. **集成调度**:如果需要定时执行Kettle任务,可以利用Spring Boot的定时任务特性(如`@Scheduled`注解)或集成Quartz等第三方调度库。 7. **异常处理和日志记录**:确保Kettle的错误和日志信息能够正确地被...

    KETTLE表输入变量执行每一行

    KETTLE表输入变量执行每一行,ORACLE数据库,scott用户,密码oracle

    kettle6与kettle7版本比较

    我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较

    kettle二次开发

    为了进一步提升 Kettle 的功能或解决特定的业务需求,进行 Kettle 的二次开发是一种非常实用的方法。本篇将详细介绍如何搭建 Kettle 的开发环境以及如何进行二次开发。 #### 二、环境准备 **1. 下载 Kettle 工具包...

    kettle7.1.rar

    Kettle 7.1 是一款强大的数据集成工具,其全称为Pentaho Data Integration(PDI),由社区驱动的开源项目提供支持,主要用于数据仓库建设和ETL(Extract, Transform, Load)过程。这个版本在之前的版本基础上进行了...

    java集成kettle所有jar包

    3. **Library dependencies**:Kettle依赖于一些第三方库,如JDBC驱动、Apache Commons、Log4j等。这些也需要被包含在Java项目的类路径中。 4. **Swing和WebUI**:如果你的应用需要图形界面,那么可能还需要`kettle...

    Kettle8.2入门PPT.rar

    Kettle,也称为 Pentaho Data Integration (PDI),是一款强大的ETL(Extract, Transform, Load)工具,主要用于数据抽取、转换和加载。Kettle以其可视化的工作流设计、高效的数据处理能力以及广泛的数据库支持而闻名...

    kettle下载文件.zip

    Kettle,全称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,它由社区驱动,为企业级ETL(Extract, Transform, Load)任务提供了全面解决方案。在本压缩包"Kettle下载文件.zip"中,您将找到与Kettle...

    【kettle】10分钟搞定kettle源码部署

    #### 一、Kettle简介与价值 Kettle是一款知名的开源ETL(Extract-Transform-Load)工具,以其强大的功能和直观易用的图形界面著称。它允许用户轻松地从多种数据源抽取数据,进行必要的数据清洗和转换后,加载到目标...

    kettle9.0 第一卷

    ETL工具kettle, 使用 Pentaho Kettle 9.0.0.0 源码编译后的可运行版本,2018年7月刚出的新版本

    kettle数据抓取操作手册

    连接数据库是kettle数据抓取操作的第一步。在kettle中,用户可以连接不同的数据库管理系统,例如Oracle、MySQL、SQL Server等。在连接数据库时,需要安装相应的JDBC驱动程序,例如ojdbc.jar和mysql-connector-java-...

Global site tag (gtag.js) - Google Analytics