`

开源ETL工具kettle--数据迁移

阅读更多



 背景

由于项目的需求,需要将数据从Oracle迁移到MSSQL,不是简单的数据复制,而是表结构和字段名都不一样,甚至需要处理编码规范不一致的情况,如下图所示




 
 

 

注意:Oracle和MSSQL中的同名表的字段名是不相同的

如果要是采用手工SQL语句操作的话会很麻烦,需要考虑

Oracle和MSSQL SQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题

而这些问题对于kettle来说都不叫事,下面就为大家介绍如何使用强大的kettle实现数据的迁移

实战

Kettle翻译成中文是“水壶”,这个名字很形象,不管你向水壶当中添加了哪些液体或者可溶物质从壶嘴里面出来的都是均匀统一的液体。对于数据加载就是:不管数据源采用什么样的格式,Excel、datatable、纯文本或者是xml,kettle都能转化成统一的格式进行处理,并且能够更具用户的需要导出不同的格式

下面我们就用kettle来解决上述问题

首先介绍一下kettle的两个工作单元:transformation和job

transformation:实现数据的转化

job:对transformation根据依赖关系组织执行顺序,还可以对job的执行进行条件判断和预处理,用户还可以设 置job的执行时间,比如每天的9:00开始执行job,这和持续构建中的job意思一样。

看一下这款神奇的软件长的什么样子



 

 

首先我们创建一个transformation,命名:tr_stu_and_class,如下图所示,目的是先将学生和班级的信息从Oracle迁移到mssql

\" width=下载地址

http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download

  • 大小: 609 KB
  • 大小: 117.4 KB
  • 大小: 23.3 KB
  • 大小: 15.3 KB
  • 大小: 42.4 KB
  • 大小: 176.8 KB
  • 大小: 13.3 KB
分享到:
评论

相关推荐

    开源ETL工具kettle实战gbase8s数据迁移

    开源ETL工具kettle实战gbase8s数据迁移

    kettle下载-一款免费开源ETL工具

    Kettle,全称为Pentaho Data Integration(简称PDI),是一款功能强大的开源ETL(Extract, Transform, Load)工具,由社区驱动并免费提供。它允许用户从各种数据源抽取数据,进行清洗、转换和加载到不同的目标系统,...

    开源ETL工具Kettle的相关文档

    Kettle,全称为Pentaho Data Integration(PDI),是一款强大的开源ETL(Extract, Transform, Load)工具,广泛应用于数据整合、数据清洗和数据迁移等场景。Kettle由Spoon、Kitchen、Pan等多个组件组成,提供图形化...

    kettle-scheduler-master_springmvc_kettlejava_kettleweb调度_kettle-

    1. **Kettle(Pentaho Data Integration)**:Kettle是一个开源ETL(提取、转换、加载)工具,用于数据集成。它允许用户通过图形化的界面创建、管理和执行数据转换和数据加载任务。Kettle支持多种数据源,如数据库、...

    ETL工具-kettle9.3环境部署+数据迁移实操

    Kettle 是一款开源的、纯 Java 编写的、跨平台的、绿色版无需安装的 ETL 工具,数据抽取高效稳定。下面是对 Kettle 环境部署和数据迁移的详细说明: 一、Kettle 结构分为三部分:Spoon、Data Integration Server 和...

    pentaho-kettle数据同步所需的包,kettle-core,kettle-engine,metastore

    Pentaho Kettle,也称为Pentaho Data Integration (PDI),是一个开源的数据集成工具,它提供了ETL(Extract, Transform, Load)功能,用于在不同的数据源之间进行数据迁移、清洗和转换。在这个压缩包中,包含的是...

    开源ETL工具-PentahoKettle使用入门

    ### 开源ETL工具-Pentaho Kettle 使用入门 #### 一、Kettle 概述 Kettle(Kettle E.T.T.L. Environment)是一款专为数据抽取、转换、加载(ETL)而设计的强大开源工具。其名字来源于项目主程序员 Matt 的一个设想...

    kettle-9.2.0.4-R pdi-ce-9.2.0.4-591 亲测可用

    Pentaho Data Integration(PDI),又称为Kettle,是一款功能强大、广受好评的企业级开源ETL工具。ETL(Extract, Transform, Load)即数据抽取、转换与加载过程,是数据仓库建设中的重要环节之一。Kettle因其直观的...

    史上最强-Kettle-培训教程.pdf

    Kettle,又称Pentaho Data Integration(PDI),是一款强大的开源ETL(Extract, Transform, Load)工具,它采用Java编写,可在Windows、Linux、Unix等多种操作系统上运行。Kettle以其直观的图形化界面、丰富的数据...

    ETL工具 KETTLE介绍

    【ETL工具 KETTLE】是数据集成领域广泛应用的一款开源工具,其全称为"Kettle ETL Environment"。Kettle的核心在于实现数据的抽取(Extract)、转换(Transform)和加载(Load)过程,用于清洗、整合来自不同来源的...

    ETL工具之Kettle.pdf

    ETL工具之Kettle是一份详细介绍Kettle的文档,Kettle是一款强大的开源ETL工具,能够高效地处理数据迁移任务。本文将详细介绍Kettle的基本概念、设计原理、核心组件、安装部署以及其图形化界面操作。 首先,ETL工具...

    ETL工具Kettle简易使用

    Kettle是一个开源ETL工具,广泛应用于数据仓库领域,用于集成不同来源的数据。本文档将覆盖Kettle的基本概念、安装配置、文件定义、个性化设置、菜单介绍以及数据步骤间的连接方式等内容,并通过一个简单的示例来...

    Kettle解决方案:使用PDI构建开源ETL解决方案

    《Kettle解决方案:使用PDI构建开源ETL解决方案》是一份深入探讨数据集成技术的文档,主要关注开源工具PDI(Pentaho Data Integration)在ETL(提取、转换、加载)过程中的应用。ETL是数据仓库和大数据处理的核心...

    ETL开源工具Kettle培训

    Kettle是一款强大的开源ETL(Extract, Transform, Load)工具,源自Pentaho公司,具有元数据驱动的设计理念。它的命名来源于"Kettle E.T.T.L. Environment"的首字母缩写,象征着将各种数据汇聚一堂,再按照特定格式...

    ETL工具Kettle用户手册

    Kettle是一款开源的ETL工具,也被称为Pentaho Data Integration(PDI)。它由社区驱动,具有强大的数据集成能力,支持各种数据源,如数据库、文件系统、Web服务等,并且提供了丰富的数据转换和加载功能。 **Kettle...

    ETL对比datax-nifi

    DataX是阿里巴巴研发的一款开源数据同步工具,其主要功能在于实现不同数据源之间的高效数据同步。它支持多种数据源,如MySQL、Oracle、HDFS、Hive等,并且具有强大的扩展性和灵活性。 ##### DataX 3.0 特性详解 - *...

    kettle二次开发

    Pentaho Data Integration (PDI) 或称为 Kettle,是一款强大的开源 ETL (Extract, Transform, Load) 工具,广泛应用于数据集成领域。Kettle 以其高度可扩展性和灵活性而闻名,支持多种数据源和目标系统之间的数据...

    pentaho-kettle-4.4.zip

    Pentaho Kettle是一款开源的数据集成工具,也被称为Kettle或Spoon。在4.4版本中,它提供了全面的源代码,允许用户根据自身需求进行定制和开发。这个压缩包"pentaho-kettle-4.4.zip"包含了该版本的所有源代码,为...

    Kettle-master.zip

    Kettle,也称为Pentaho Data Integration(PDI),是一个强大的、开源的数据集成工具,它由社区驱动,专为处理各种数据集成任务而设计。Kettle以Java编写,因此具有跨平台性,可以在多种操作系统上运行,如Windows、...

Global site tag (gtag.js) - Google Analytics