`
伤心眼泪
  • 浏览: 56089 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

ETL工具kettle设置全局变量

阅读更多
昨天让kettle传入的参数搞的很郁闷,从网上查一些信息,大多讲的是每个transformation内部传递参数,要么就是讲在job中把参数传进transformation,而且还不正确。
大家最常碰到的问题恐怕就是要做增量抽取了吧,增量抽取不可避免要碰到时间戳,那么我们假如每天晚上需要抽取当天新增的数据到目标库,这就需要一个变量来操作。
要是每个transformation都用一个单独控件来记录这个变量,貌似没什么意义,所以总想有没有能统一管理一个参数,然后让所有的transformation和job都可以读到呢?
有。

首先,打开.kettle\kettle.properties,直接在里面定义,比如:
V_YES_DATE=to_char(sysdate,'yyyymmdd')
这里支持数据库函数,说的更直白点,就是这里定义是个啥,那么在transformation里边取到的它就是啥。
定义之后,保存,重启spoon。
在需要的地方,直接%%V_YES_DATE%%,或者${V_YES_DATE}就可以得到。
举例:
SELECT
  NAME
, SEX
FROM TESTTABLE
where

to_char(cdate,'yyyymmdd')=${V_YES_DATE}
或者
SELECT
  NAME
, SEX
FROM TESTTABLE
where

to_char(cdate,'yyyymmdd')=%%V_YES_DATE%%
也有人说${}这种方式是在linux下的,%%%%是在windows下的,反正我在windows下这两种写法均可。
kettle资料只能说是太少了,就这么点事折腾我一天了。。。
哦对了,别忘了把那个替换SQL语句里的变量这个勾上。。。
0
6
分享到:
评论

相关推荐

    KETTLE 全局参数设定

    这样设置后,该变量就会成为一个全局变量,可以在后续的所有作业中被访问。 ##### 3.3 执行SQL并使用变量 接着,添加一个新的转换步骤,选择“执行SQL”。在此步骤中,编写SQL语句时,可以通过`${JOBD2}`的方式来...

    ETL工具kettle用户手册

    ### ETL工具kettle用户手册知识点详述 #### 一、Spoon介绍 **1.1 什么是Spoon** Spoon 是 Kettle 的图形界面工具,用于设计、调试和执行 ETL (Extract, Transform, Load) 作业和转换。它是 Kettle 项目中的核心...

    kettle参数设置与使用

    Kettle,也称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,它提供了图形化的界面用于构建、测试和执行ETL(提取、转换、加载)任务。在这个"Kettle参数设置与使用"的主题中,我们将深入探讨如何在...

    ETL工具kettl实际中的一些应用说明

    变量的设置包括字段名称、变量名、变量类型和默认值,可以设置全局变量以便在整个流程中使用。 总结,Kettle作为一款强大的ETL工具,其资源库管理、增量更新策略、定时执行和变量处理等功能为企业级数据处理提供了...

    Kettle简单参数化配置连接数据库

    Kettle,又称为Pentaho Data Integration(PDI),是一个强大的开源ETL工具,以其灵活性和易用性受到广泛欢迎。本教程将详细介绍如何在Kettle中进行简单的参数化配置来连接数据库,以及如何通过Shell脚本来传递参数...

    kettle ETL 帮助文档&开发手册

    Kettle是一款开源的ETL工具,主要用于数据抽取、转换与加载(Extract, Transform, Load)。它能够帮助用户从多种数据源抽取数据,经过清洗、转换后加载到目标数据仓库中。Kettle因其灵活性高、扩展性强而被广泛应用...

    再谈kettle两种循环之-调用http分页接口循环获取数据

    在IT领域,特别是数据处理和ETL(提取、转换、加载)过程中,Kettle是一款非常强大的工具。本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题,旨在提供对循环Job、变量运用、调用HTTP...

    Kettle循环遍历结果集作为参数传入转换.zip

    Kettle支持两种类型的变量:全局变量和局部变量。在这里,我们可以将每一行数据的某个字段值存储为变量,然后在后续的转换中使用。"Set Variables"步骤可以用来设置这些变量,而"Get Variables"步骤则可以获取它们。...

    kettle-pdf用户手册

    - **7.2.1 环境变量**:由操作系统提供的全局变量。 - **7.2.2 Kettle变量**:由用户定义的变量,可用于转换和作业中。 - **7.2.3 内部变量**:由Kettle自动生成的变量,如行号、日期时间等。 #### 八、转换设置...

    kettle最新资料.rar

    Kettle,全称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,广泛应用于ETL(Extract, Transform, Load)过程。它以其图形化的界面、灵活的数据处理能力和高效的执行性能受到众多数据工作者的青睐。...

    Kettle使用手册

    变量适用于全局设置,参数则允许在运行时传递值。 6. **日志与监控** Kettle具有强大的日志记录和监控功能,可以通过图表、日志文件或集成到其他监控系统来跟踪作业执行状态。 7. **调度与自动化** Kettle可以与...

    kettle操作说明

    - 配置数据库的全局变量:在Kettle中,可以设置全局变量来简化数据库连接的管理。这些变量可以在整个工作流或转换中重用,提高效率。 - 文件命名规范:避免在文件名中使用汉字,因为某些操作系统或服务可能不支持...

    KETTLE学习指导文档

    Kettle中提供了两种数据源:全局数据源和局部数据源。用户可以通过Ctrl+N快捷键创建一个新的数据源连接,配置数据源参数,如Connection Name、Host Name、Database Name、Port Number、User Name、Password等。在...

    kettle资料

    Kettle,全名Pentaho Data Integration (PDI),是一款强大的ETL工具,用于数据集成和数据转换。本篇主要介绍Kettle的一些基础操作和常见应用场景。 1. 错误处理 在Kettle转换过程中,错误处理是必不可少的。当某个...

    kettle中文使用手册

    3. **变量与参数**:Kettle支持使用变量和参数进行动态配置,这使得在不同环境下的部署更为灵活,便于管理全局设置。 4. **日志与监控**:Kettle提供详尽的日志记录和实时监控功能,用户可以通过日志追踪数据处理的...

    kettle手册

    - **什么是Kettle:** Kettle是一款开源的数据集成工具,它主要用于数据抽取、转换和加载(ETL),能够帮助用户高效地管理和处理复杂的数据流程。 - **Kettle的安装:** Kettle的安装相对简单,主要包括下载安装包、...

    kettle简单示例

    【Kettle简单示例】是基于Kettle工具的一个基础应用展示,主要涵盖了Kettle中的job(作业)和transform(转换)这两个核心概念,以及变量的使用和SQL语句的执行。Kettle,又称为Pentaho Data Integration (PDI),是...

    kettle帮助文档

    《Kettle Spoon 2.5.0用户手册:探索ETL工具的强大功能》 Kettle,也称为Pentaho Data Integration(PDI),是一款强大的开源提取、转换和加载(ETL)工具,专为处理数据集成任务而设计。Spoon是Kettle的主要图形化...

Global site tag (gtag.js) - Google Analytics