`
zhaizhisheng
  • 浏览: 73021 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

Kettle循环调用的实现

阅读更多

  今天来和大家讲一下Kettle的一些基础应用,本文包括如何将转换中的结果转出到作业中;转换如何从父作业中获取上一个转换写入的数据;以及设置变量和获取变量的用法。不多说先看最终的作业和转换。

作业:

 

 

转换1:

 

 

转换3:

 

 

    这里先说一下思路,在Mysql数据库中保存了一些数据,第一个转换从数据库读取数据并把一些参数设置到环境变量中,第二个转换读取第一个转换获取的数 据,并获取环境变量的值,根据这些数据做一些操作(这里只作演示所做的操作是把它们输出到文本中),然后把数据库表中处理过的这条数据打上处理过的标记(这里是用的时间,第一个转换取的时候判断 小于当日的数据全部取出,处理完后将日期更新成当前日期),在作业中设置作业重复执行,并判断当第一个转换没有取 到数据时中止整个作业。

注意:

1、第一个转换取到的每一行值第二个转换都可以有运行一次

2、第一个转换设置环境变量只能有一条数据

也就是说如果 你不用设置变量这个组件可以一下把表中所有的数据都取出来,在第二个转换中处理每行数据处理一次,如果用设置环境变量第一个转换每次只能取一条数据

在作业中判断当转换1中没有取到值时结束整个作业。

注意:作业中第二个转换时要把执行每一个输入行选上!



 

OK 今天就到这里吧!

 

 

我的Email:zhaizhisheng@sina.com

我的博客:http://alenzhai.iteye.com/

另外也欢迎大家加入 下面的群来聊一聊 开源BI那些事!

开源BI交流


  • 大小: 15 KB
  • 大小: 10.2 KB
  • 大小: 10.1 KB
  • 大小: 21.5 KB
0
0
分享到:
评论

相关推荐

    再谈kettle两种循环之-调用http分页接口循环获取数据

    本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题,旨在提供对循环Job、变量运用、调用HTTP分页接口、生成连续记录以及MD5加密等知识点的详细理解和实践指导。 首先,Kettle中的循环...

    Kettle实现步骤循环执行

    标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration(简称Kettle或PDI)的一种高级用法,即如何在工作流(Job)或转换(Transformation)中实现步骤的循环执行。Kettle是一款强大的...

    Kettle循环操作

    "Kettle循环操作"是Kettle中一个重要的概念,用于在工作流(Job)或转换(Transformation)中重复执行特定的任务,比如对数据进行迭代处理或根据某些条件反复运行部分流程。 首先,我们来看"导入资源库"这个环节。...

    kettle设置循环变量

    3. 实现循环控制:循环控制是 Kettle 设置循环变量的核心步骤。步骤【循环控制器】相当于 for(int i=0;i;i++) 循环中 i;【获取表行数】相当于 for 循环内部的处理操作;【计数器累加】相当于 i++。 4. 实现变量 ...

    Kettle根据参数循环调度

    本篇将详细解析“Kettle根据参数循环调度”的概念及其实现方法。 标题“Kettle根据参数循环调度”意味着我们需要在Kettle的工作流(Job)中设置一个动态的调度过程,这个过程会根据某些参数值进行循环执行。这通常...

    kettle实现多参数传递并且循环加载数据.zip

    本项目"Kettle实现多参数传递并且循环加载数据.zip"显然是一个利用Kettle解决复杂业务逻辑的示例,特别关注了参数传递和数据的循环处理。以下将详细解释相关知识点。 1. **Kettle参数传递**: 在Kettle中,参数...

    kettle调用

    很好的java调用kettle,使大家更好的利用kettle转换数据,提取数据

    Kettle循环遍历结果集作为参数传入转换

    在这个场景下,我们讨论的是如何在Kettle8.2中实现一个特定的操作,即“Kettle循环遍历结果集作为参数传入转换”。 首先,我们需要理解Kettle中的“结果集”这一概念。在数据库查询中,结果集是执行SQL语句后返回的...

    Kettle循环遍历结果集作为参数传入转换.zip

    在"Kettle循环遍历结果集作为参数传入转换.zip"的示例中,我们将探讨这个具体的操作流程和相关知识点。 首先,我们需要了解Kettle的基本结构。Kettle由两个主要部分组成:Job(作业)和Transformation(转换)。...

    ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理

    ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理-kettle脚本

    kettle循环分页迁移数据的完整例子,一次迁移1w数据无压力

    标题中的“kettle循环分页迁移数据的完整例子”指的是使用Kettle(Pentaho Data Integration,也称为ETL工具)进行数据迁移的一种方法。Kettle是一个强大的数据集成平台,它允许用户通过图形化的工作流设计来处理...

    kettle递归循环(脚本判断)

    首先,递归循环在Kettle中通常通过工作流(Job)和转换(Transformation)的相互调用来实现。一个工作流可以启动一个或多个转换,并在转换完成后执行其他操作。如果需要根据某些条件重复执行转换,可以设置循环结构...

    kettle循环调用清洗数据设计文档.docx

    本项目中,面对超过一亿条数据的清洗任务,团队采取了分步策略,利用Kettle的循环遍历功能来优化处理过程。以下是对这个设计方案的详细解释: 1. **转换-获取需要清洗的表名**: 在开始数据清洗之前,首先需要确定...

    Kettle循环事例.rar

    本压缩包"Kettle循环事例.rar"提供了一个关于如何在Kettle中设置和执行循环的实例,非常适合初学者了解和学习Kettle的循环功能。 首先,Kettle中的循环主要通过“Job”(作业)和“Transformation”(转换)来实现...

    kettle动态分页与循环抽取大数据

    本文将深入探讨如何利用Kettle进行动态分页与循环抽取,以有效地管理和操作大数据。 首先,让我们理解动态分页的概念。在大数据环境中,一次性加载所有数据通常是不可行的,因为它可能导致内存溢出或系统性能下降。...

    kettle另一种简单的循环方式

    本文将深入探讨如何利用Kettle实现一种简单的循环方式,特别是在从Oracle源表分页读取数据并写入Oracle目标表的应用场景中。 首先,我们需要理解Kettle的工作原理。Kettle通过Job和Transformation两个主要组件来...

    kettel循环执行动态sql

    标题中的“Kettle循环执行动态SQL”指的是使用Pentaho Data Integration(Kettle)工具来设计数据集成工作流,其中包含动态生成并执行SQL语句的步骤。在数据处理和ETL(Extract, Transform, Load)过程中,动态SQL是...

    数据抽取-Kettl动态参数调用HTTP、POST接口

    本教程将深入探讨如何在Kettle中使用动态参数调用HTTP和POST接口,实现高效的数据交互。 一、Kettle简介 Kettle是一款由社区驱动的ETL工具,它以图形化的方式设计和执行数据转换。Kettle的作业(Job)和转换...

    kettle分页抽取、插入实现.zip

    4. Job设计:在Kettle Job中,可以创建一个循环结构,每次迭代处理一页数据。Job可以启动Transformation,传递当前页参数,并在完成插入后更新页码。此外,Job还应包含错误处理和日志记录机制,以监控整个过程。 5....

    Kettle循环获取结果集中的数据并传入转换里面

    1. **Kettle循环转换**(t1.ktr): - 在t1.ktr中,通常会包含数据抽取、清洗、转换等步骤,最后生成一个结果集。 - 结果集是Kettle作业执行过程中的中间结果,它包含了处理后的数据行。 2. **获取结果集**: - ...

Global site tag (gtag.js) - Google Analytics