今天来和大家讲一下Kettle的一些基础应用,本文包括如何将转换中的结果转出到作业中;转换如何从父作业中获取上一个转换写入的数据;以及设置变量和获取变量的用法。不多说先看最终的作业和转换。
作业:
转换1:
转换3:
这里先说一下思路,在Mysql数据库中保存了一些数据,第一个转换从数据库读取数据并把一些参数设置到环境变量中,第二个转换读取第一个转换获取的数 据,并获取环境变量的值,根据这些数据做一些操作(这里只作演示所做的操作是把它们输出到文本中),然后把数据库表中处理过的这条数据打上处理过的标记(这里是用的时间,第一个转换取的时候判断 小于当日的数据全部取出,处理完后将日期更新成当前日期),在作业中设置作业重复执行,并判断当第一个转换没有取 到数据时中止整个作业。
注意:
1、第一个转换取到的每一行值第二个转换都可以有运行一次
2、第一个转换设置环境变量只能有一条数据
也就是说如果 你不用设置变量这个组件可以一下把表中所有的数据都取出来,在第二个转换中处理每行数据处理一次,如果用设置环境变量第一个转换每次只能取一条数据
在作业中判断当转换1中没有取到值时结束整个作业。
注意:作业中第二个转换时要把执行每一个输入行选上!
OK 今天就到这里吧!
相关推荐
本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题,旨在提供对循环Job、变量运用、调用HTTP分页接口、生成连续记录以及MD5加密等知识点的详细理解和实践指导。 首先,Kettle中的循环...
标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration(简称Kettle或PDI)的一种高级用法,即如何在工作流(Job)或转换(Transformation)中实现步骤的循环执行。Kettle是一款强大的...
"Kettle循环操作"是Kettle中一个重要的概念,用于在工作流(Job)或转换(Transformation)中重复执行特定的任务,比如对数据进行迭代处理或根据某些条件反复运行部分流程。 首先,我们来看"导入资源库"这个环节。...
3. 实现循环控制:循环控制是 Kettle 设置循环变量的核心步骤。步骤【循环控制器】相当于 for(int i=0;i;i++) 循环中 i;【获取表行数】相当于 for 循环内部的处理操作;【计数器累加】相当于 i++。 4. 实现变量 ...
本篇将详细解析“Kettle根据参数循环调度”的概念及其实现方法。 标题“Kettle根据参数循环调度”意味着我们需要在Kettle的工作流(Job)中设置一个动态的调度过程,这个过程会根据某些参数值进行循环执行。这通常...
本项目"Kettle实现多参数传递并且循环加载数据.zip"显然是一个利用Kettle解决复杂业务逻辑的示例,特别关注了参数传递和数据的循环处理。以下将详细解释相关知识点。 1. **Kettle参数传递**: 在Kettle中,参数...
很好的java调用kettle,使大家更好的利用kettle转换数据,提取数据
在这个场景下,我们讨论的是如何在Kettle8.2中实现一个特定的操作,即“Kettle循环遍历结果集作为参数传入转换”。 首先,我们需要理解Kettle中的“结果集”这一概念。在数据库查询中,结果集是执行SQL语句后返回的...
在"Kettle循环遍历结果集作为参数传入转换.zip"的示例中,我们将探讨这个具体的操作流程和相关知识点。 首先,我们需要了解Kettle的基本结构。Kettle由两个主要部分组成:Job(作业)和Transformation(转换)。...
ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理-kettle脚本
标题中的“kettle循环分页迁移数据的完整例子”指的是使用Kettle(Pentaho Data Integration,也称为ETL工具)进行数据迁移的一种方法。Kettle是一个强大的数据集成平台,它允许用户通过图形化的工作流设计来处理...
首先,递归循环在Kettle中通常通过工作流(Job)和转换(Transformation)的相互调用来实现。一个工作流可以启动一个或多个转换,并在转换完成后执行其他操作。如果需要根据某些条件重复执行转换,可以设置循环结构...
本项目中,面对超过一亿条数据的清洗任务,团队采取了分步策略,利用Kettle的循环遍历功能来优化处理过程。以下是对这个设计方案的详细解释: 1. **转换-获取需要清洗的表名**: 在开始数据清洗之前,首先需要确定...
本压缩包"Kettle循环事例.rar"提供了一个关于如何在Kettle中设置和执行循环的实例,非常适合初学者了解和学习Kettle的循环功能。 首先,Kettle中的循环主要通过“Job”(作业)和“Transformation”(转换)来实现...
本文将深入探讨如何利用Kettle进行动态分页与循环抽取,以有效地管理和操作大数据。 首先,让我们理解动态分页的概念。在大数据环境中,一次性加载所有数据通常是不可行的,因为它可能导致内存溢出或系统性能下降。...
本文将深入探讨如何利用Kettle实现一种简单的循环方式,特别是在从Oracle源表分页读取数据并写入Oracle目标表的应用场景中。 首先,我们需要理解Kettle的工作原理。Kettle通过Job和Transformation两个主要组件来...
标题中的“Kettle循环执行动态SQL”指的是使用Pentaho Data Integration(Kettle)工具来设计数据集成工作流,其中包含动态生成并执行SQL语句的步骤。在数据处理和ETL(Extract, Transform, Load)过程中,动态SQL是...
本教程将深入探讨如何在Kettle中使用动态参数调用HTTP和POST接口,实现高效的数据交互。 一、Kettle简介 Kettle是一款由社区驱动的ETL工具,它以图形化的方式设计和执行数据转换。Kettle的作业(Job)和转换...
4. Job设计:在Kettle Job中,可以创建一个循环结构,每次迭代处理一页数据。Job可以启动Transformation,传递当前页参数,并在完成插入后更新页码。此外,Job还应包含错误处理和日志记录机制,以监控整个过程。 5....
1. **Kettle循环转换**(t1.ktr): - 在t1.ktr中,通常会包含数据抽取、清洗、转换等步骤,最后生成一个结果集。 - 结果集是Kettle作业执行过程中的中间结果,它包含了处理后的数据行。 2. **获取结果集**: - ...