写这篇随笔只为记录,免得忘记了。
第一步:建立一个转换,文件-》新建-》转换
第二步:打开转换,右键DB链接-》新建:如下图
我想这如何填写大家都知道,无非就是链接IP,数据库名称,用户名,密码等。
第三步:在转换的核心对象中输入2个输入和一个合并记录,一个同步数据,用线链接,如下图:
表输入在输入中找:合并记录在链接中;数据同步在输出中;剩下的就是表输入设置,合并记录设置,数据同步设置。
第四步:表输入设置,这个要注意,如果来源数据和同步数据字段不一样的话,被来源数据可以用as来改变列明,这里要主要一定要名称一致和列顺序一致,我这纠结了很久。还是贴个图吧:
记录数量限制为0就是所有同步。
第五步:合并记录设置,要注意旧数据是你要同步的数据,新数据是来源数据。匹配的关键字是主键,数据字段是你要同步的列包括主键。如下图:
第六步:也是最重要的一步,我出错最多的一步,因为这要用到第五步的标志字段,合并过后标志字段有
“Identical” : 关键字在新旧数据源中都存在,域值相同
“changed” : 关键字在新旧数据源中都存在,但域值不同
“new” : 旧数据源中没有找到关键字
“deleted”: 新数据源中没有找到关键字
如下图配置:
这里注意别把标志字段加上,还有查询关键字注意。
这就是更具合并记录后的标志字段来决定是插入,更新,还是删除。
以上数据同步就完了,如果需要定时的话,就重新建个作业,如下
开始里面就有定时,勾上重复即可,自由发挥,后面的转换就是我们刚刚新建的转换,双击转换是如下图红色区域选择刚刚保存的转换即可。
以上一个定时数据同步就全部完成,各位可以自由发挥多多交流,kettle工具很强大,我只看见其中一小块。
纯手打,尊重原创
相关推荐
### Kettle全量多表数据同步 #### 一. 建立资料库 在进行全量多表数据同步之前,首先需要建立一个资源库来存放所有的转换和作业。资源库是Kettle的一个核心概念,它用于存储和管理转换、作业和其他与数据处理相关...
kettle的使用手册,及个人实现的数据增量同步,亲测可行!
Kettle、Spoon数据同步工具7.0版本 SQL Server、MySQL数据库jar包等
通过Kettle,你可以灵活地处理各种数据同步场景,无论是简单的单表同步还是涉及多表关联的复杂同步,它都能提供强大的支持。同时,Kettle的图形化界面使得配置和调试过程相对直观,降低了操作难度。 请参考提供的...
在这个“kettle实现时间戳增量同步案例”中,我们将探讨如何利用Kettle来实现Oracle数据库中基于时间戳的数据增量同步。 1. **理解时间戳增量同步** 时间戳增量同步是指只同步自上次同步以来发生改变的数据,通常...
"Kettle spoon"中的"spoon"指的是Kettle的图形化开发工具,用户可以通过它来直观地设计和管理数据同步作业。 通过以上步骤,我们可以利用Kettle构建出一个完整且自动化的数据增量同步流程,确保数据的实时性和一致...
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过该工具可以实现不同数据库之间的数据传输(百度云链接)
通过理解和利用其源码,我们可以定制适合特定业务需求的解决方案,提高数据处理效率,保障数据同步的准确性和可靠性。在数据驱动的现代企业中,掌握Kettle的使用和源码解析技巧,无疑将对IT专业人员的事业发展产生...
标题中的“异构数据的同步——kettle”指的是在不同数据源之间进行数据迁移和集成的过程,而Kettle是一款强大的开源ETL(提取、转换、加载)工具,它专门用于处理这种异构数据同步的问题。Kettle,又称为Pentaho ...
7. **调度和自动化**:Kettle Spoon支持定时任务调度,可以将ETL作业设置为自动运行,以定期执行数据同步或数据更新。 8. **插件扩展性**:Kettle拥有丰富的插件生态,允许开发人员根据需要扩展其功能,满足特定...
Kettle,也称为Pentaho Data Integration(PDI),是一款强大的ETL(Extract, Transform, Load)工具,常用于企业级的数据集成...通过合理设计和配置,可以实现高效、准确的数据同步,满足企业对实时数据分析的需求。
使用Kettle进行数据同步,通常会涉及"转换"(Transformation)和"作业"(Job)的创建。在"转换"中,你可以设置"表输入"来读取源数据库的时间戳数据,然后通过"转换步骤"(如"过滤行"、"字段选择"等)进行数据处理,...
2. **注意字段类型转换:** 在数据同步过程中特别关注`TINYINT`类型的字段,确保数据类型的一致性。 3. **增强容错机制:** 可以考虑增加字段类型的自动识别与转换功能,减少因类型不匹配导致的错误。 #### 二、...
标题中的“10倍以上提高Pentaho Kettle的MySQL写入速度”指的是通过优化Pentaho Kettle(也称为Kettle或PDI)的数据处理流程,显著提升了将数据导入到MySQL数据库的速度。Pentaho Kettle是一款强大的ETL(提取、转换...
综上所述,这个压缩包包含的三个核心库文件是构建和运行Pentaho Kettle数据同步解决方案的关键组件,它们共同提供了数据集成过程中从数据源获取数据、转换数据、再到目标数据存储的完整流程。对于Java开发者来说,...
总结,Kettle作为一款强大的ETL工具,不仅能够实现SQL Server到MySQL的数据迁移,还能处理多种异构数据库间的数据同步。通过其直观的图形化界面和灵活的脚本语言,用户可以轻松管理和控制复杂的数据处理流程。在实际...
KETTLE 是一种数据集成工具,它能够从各种数据源中提取数据,并将其转换为目标系统所需的格式。在使用 KETTLE 时,可能会遇到时间与系统时间不一致的问题,本文将介绍该问题的解决方案。 问题描述: 在使用 KETTLE ...
Kettle是一款强大的ETL(Extract, Transform, Load)工具,常用于数据集成和转换。它以其易用性和灵活性而受到广大数据工作者的青睐。ClickHouse则是一个高性能的列式存储数据库,尤其适合在线分析处理(OLAP)场景...
本篇教程将详细介绍如何使用kettle实现MySQL到Oracle数据库之间的数据同步,并实现随机启动调度。 ### 环境准备 在开始之前,我们需要准备合适的环境。教程中明确提到是在Windows环境下进行操作。环境准备包括: ...
在本篇文章中,我们将深入探讨Kettle工具的使用方法、下载以及其作为数据同步工具的优势。 首先,了解Kettle的基本概念至关重要。Kettle通过图形化的工作流界面(Job)和转换(Transformation)来设计数据处理流程...