`
qingwei201314
  • 浏览: 168216 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Kettle 增量导数据

 
阅读更多

一、新建转换。

“源表”中的数据导入“目标表”。 源表 -> 目标表
1.下载kettle安装包,启动kettle.
2.新建转换“表输入”,设置数据库链接,查出目标表的最近修改时间:

select if(ISNULL(max(ORDERDATE)), '1900-01-01 00:00:00', max(ORDERDATE)) 

from kevin_t1
3.新建 “表输入", 设置数据库链接,“从步骤插入数据”选择上一步的结果,查出源表中未修改的记录,SQL如下:
select * from kevin_t1 where ORDERDATE > ?
4.新建”插入/更新", 选择目标表,用来查询的关键字“id = id ",
更新字段列表中,将id的更新设为”N", 并将ORDERDATE 去掉(不然会报错,因为mysql会自动更新此字段)。
二、新建任务。
1.新建“作业定时调度。
2.新建转换,指向步骤一。

 

 

分享到:
评论

相关推荐

    kettle增量导入

    ### Kettle增量导入详解 #### 引言 在企业级数据处理中,ETL(Extract, Transform, Load)过程是核心环节之一,用于从不同来源提取数据,转换为统一格式,再加载到目标数据仓库或数据库中。在ETL过程中,增量导入...

    KETTLE实现循环批量多表抽取添加字段

    本篇将详细介绍如何利用Kettle实现循环批量多表抽取并添加字段,以及将这些数据导入到MySQL数据库的过程。 首先,我们需要理解Kettle中的主要组件。`Transformation`是Kettle的基本工作单元,它定义了一系列的步骤...

    kettle批量解析多个xml文件

    在本场景中,我们关注的是如何通过Kettle解析大量XML文件并将数据导入到Oracle数据库。 描述中提到的“批量数据导入”是ETL流程中的关键环节,尤其在生产环境中,数据的高效处理和准确导入至关重要。Kettle提供了...

    使用kettle将mysql中的数据导入到hive中

    先说说思路:1是直接从mysql输出至hive中,另外...测试直接将mysql中的stdcode表导入一下 抽取数据,插入的目标库中有没有对应为表的话点击下方的SQL,会默认执行DDL语句,create一下表,接下来NEXT 成功!当然具体的

    从ftp上下载txt文件插入到数据库中的原文件

    【Kettle:FTP下载与数据库导入的实战应用】 在IT行业中,数据的处理和迁移是一项常见任务,而Kettle(也称为Pentaho Data Integration,简称PDI)是一款强大的ETL(Extract, Transform, Load)工具,专为此类任务...

    kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包

    Kettle支持批量和增量加载,确保高效且低影响地将数据导入目标系统。 4. **工作流(Job)和转换(Transformation)**:Kettle中的作业(Job)和转换(Transformation)是两种基本的构建块。作业负责管理和调度一...

    kettle开发过程及字符转换等例子

    在 Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制。 Kettle 的开发过程可以分为以下几个步骤: 1. 部署运行 Kettle,将 Kettle 文件夹...

    Kettle 工具用户实例教程.pdf

    在进行数据迁移的示例中,Kettle能够将一个数据库的数据导入到另一个数据库中。这涉及到了transformation中的几个关键步骤,如表输入、字段选择、表输出。用户需要设置输入的数据库连接、选择的表和字段,以及输出的...

    专题资料(2021-2022年)kettle公司内部培训手册.doc

    通过这种方式,Kettle能够有效地处理增量数据,避免重复处理和遗漏。 总的来说,Kettle提供了丰富的数据处理功能和灵活的工作流控制,是IT领域处理大数据和实施ETL流程的有力工具。用户可以根据业务需求,利用...

    字符串时间转换时间格式问题带配图完整解决方案--kettle版.doc

    - 目标:将数据从一个数据库导入到另一个数据库。 - 操作步骤包括创建Transformation文件、设置输入输出表、定义字段映射关系等。 - 通过拖拽组件(如“表输入”、“字段选择”、“表输出”)到工作区,并建立...

    kettle技术手册

    #### 五、示例:数据从一个数据库导入到另一个数据库 - **创建转换**:命名为`etlTestTrans.ktr`。 - **配置输入**:添加“表输入”步骤,指定源数据库表。 - **数据处理**:添加“字段选择”步骤来选择需要转换的...

    kettle培训技术文档.pdf

    以一个简单的示例来说明如何使用Kettle,假设目标是将一个数据库中的数据导入到另一个数据库。首先创建一个Transformation,添加“表输入”以连接源数据库,然后通过“字段选择”筛选所需字段,最后使用“表输出”将...

    Kettle 公司培训办法.doc

    通过这些步骤,Kettle可以有效地处理不同类型的增量更新,从而保持数据的实时性和一致性。在实际应用中,可以根据具体需求调整和优化这些流程,以适应不同的业务场景。Kettle的强大之处在于它的灵活性和可扩展性,...

    etl-kettle讲稿

    数据仓库是一个独立于事务处理系统的数据环境,ETL负责将数据从OLTP系统、外部数据源导入,由于数据仓库不需要与事务处理系统实时同步,所以ETL通常按计划定时执行。ETL过程包括关联、转换、增量更新、调度和监控等...

    etl数据抽取

    - **插入/更新的增量**:利用 Kettle 工具中的插入/更新节点,当目标库中不存在数据的主键时作为新数据插入;如果存在,则对比字段,如有差异则更新。 - **删除的增量**:通过比较源表视图与目标表的主键,若目标...

    全量数据同步ETL脚本案例.zip

    对于持续的数据同步需求,增量或 delta 同步可能是更有效率的选择,它只同步自上次同步以来变化的数据。 总的来说,这个"all.ktr"文件提供了一个具体的ETL实例,展示了如何使用Kettle工具进行全量数据同步,对于...

Global site tag (gtag.js) - Google Analytics