工作快满三年,正式加入数据挖掘、商业智能分析的队伍中去,公司规模不算大,基本上数据仓库也是从零开始,包括我在内也就两人,本想写工具,也设计了方案,但是发现心有余力不足,接触下spoon下ETL工具kettle,入手的版本是current4.3.0 version,问题颇多,就data connection都有问题,然后采用ODBC的方式,下载http://search.oracle.com/search/search?q=ODBC&group=MySQL&x=0&y=0 mysql的ODBC CONNECTION,然后配置系统DSN,问题解决了,但是进入里面进行SQL Editor发现抛
An error occurred executing SQL: SELECT * FROM ass_admins LIMIT 100 Invalid Fetch Size
崩溃死了,国内资料稀缺,到stackoverflow找,同样太坑爹,后来根据网友资料去download源代码,竟然是3.2版本,看了下抛出异常的地段,感觉也没啥问题,纠结了半天。狠下心去下载低版本,同时也在想低版本的话,到时候也能通过源码能够解决下,确实高版本与低版本的差距很大。下了4.1 version,开始稳定了。今天跑了一个最基础的数据迁移的工作。
1.新建转换
2.建立Data Connection
3.新建表输入,新建表输出,拖入到视图页面
4.建立两者的hop信息
5.在表输入页面,SQL的查询;在表输出页面字段属性一一匹配
6.执行,查看日志信息
相关推荐
在IT行业中,Kettle是一款强大的数据集成工具,也被称为Pentaho Data Integration(PDI)。它提供了图形化的界面,使得用户能够通过拖拽的方式构建数据处理流程,包括数据抽取、转换和加载(ETL)任务。在这个场景中...
2. 使用 Trans 脚本实现遍历查询出的表名:由于 Kettle 变量一次只能接收一个值,因此若是要执行查询操作的表为两个或者两个以上,就无法直接使用变量来替换 ${TABLENAME}。需要一个能够存储多个表名的步骤或脚本...
在IT行业中,Kettle(又称Pentaho Data Integration,PDI)是一款强大的ETL(Extract, Transform, Load)工具,用于数据集成与处理。本文将深入探讨如何利用Kettle实现一种简单的循环方式,特别是在从Oracle源表分页...
Kettle,也被称为Pentaho Data Integration (PDI),是一款强大的数据集成工具,它提供了一种图形化的界面,让用户能够设计、执行和调度各种数据转换任务。在当前的信息化环境中,数据源多种多样,而达梦数据库作为...
Kettle是一款功能强大的数据集成工具,提供了详细的中文官方文档,旨在帮助用户快速上手使用Kettle实现数据集成任务。本文档提供了资源库管理、菜单栏介绍、变量等多方面的知识点,帮助用户深入了解Kettle的使用方法...
在数据处理领域,Kettle(Pentaho Data Integration,简称PDI)是一款强大的ETL工具,它提供了丰富的数据转换和加载功能。本示例“《kettle中访问前一行数据》”聚焦于如何在Kettle的数据流中利用前一行的信息进行...
本篇文章将详细介绍如何使用Kettle实现一个具体的案例——生成指定数量的随机数,并根据这些随机数的大小进行分类统计,最后将结果存储到Excel文件中。 #### 二、具体步骤解析 ##### 1. **生成随机数** - **工具...
【Kettle012】Kettle访问FTP服务器文件并处理数据至PostgreSQL是关于使用Kettle(也称为Pentaho Data Integration,简称PDI)工具进行数据集成的一个具体实例。Kettle是一个开源的数据集成工具,它允许用户通过图形...
Kettle,全称为Pentaho Data Integration(简称PDI),是一款功能强大的开源ETL(Extract, Transform, Load)工具,由社区驱动并免费提供。它允许用户从各种数据源抽取数据,进行清洗、转换和加载到不同的目标系统,...
6. **集成调度**:如果需要定时执行Kettle任务,可以利用Spring Boot的定时任务特性(如`@Scheduled`注解)或集成Quartz等第三方调度库。 7. **异常处理和日志记录**:确保Kettle的错误和日志信息能够正确地被...
KETTLE表输入变量执行每一行,ORACLE数据库,scott用户,密码oracle
我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
为了进一步提升 Kettle 的功能或解决特定的业务需求,进行 Kettle 的二次开发是一种非常实用的方法。本篇将详细介绍如何搭建 Kettle 的开发环境以及如何进行二次开发。 #### 二、环境准备 **1. 下载 Kettle 工具包...
Kettle 7.1 是一款强大的数据集成工具,其全称为Pentaho Data Integration(PDI),由社区驱动的开源项目提供支持,主要用于数据仓库建设和ETL(Extract, Transform, Load)过程。这个版本在之前的版本基础上进行了...
3. **Library dependencies**:Kettle依赖于一些第三方库,如JDBC驱动、Apache Commons、Log4j等。这些也需要被包含在Java项目的类路径中。 4. **Swing和WebUI**:如果你的应用需要图形界面,那么可能还需要`kettle...
Kettle,也称为 Pentaho Data Integration (PDI),是一款强大的ETL(Extract, Transform, Load)工具,主要用于数据抽取、转换和加载。Kettle以其可视化的工作流设计、高效的数据处理能力以及广泛的数据库支持而闻名...
Kettle,全称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,它由社区驱动,为企业级ETL(Extract, Transform, Load)任务提供了全面解决方案。在本压缩包"Kettle下载文件.zip"中,您将找到与Kettle...
#### 一、Kettle简介与价值 Kettle是一款知名的开源ETL(Extract-Transform-Load)工具,以其强大的功能和直观易用的图形界面著称。它允许用户轻松地从多种数据源抽取数据,进行必要的数据清洗和转换后,加载到目标...
ETL工具kettle, 使用 Pentaho Kettle 9.0.0.0 源码编译后的可运行版本,2018年7月刚出的新版本
连接数据库是kettle数据抓取操作的第一步。在kettle中,用户可以连接不同的数据库管理系统,例如Oracle、MySQL、SQL Server等。在连接数据库时,需要安装相应的JDBC驱动程序,例如ojdbc.jar和mysql-connector-java-...