背景
由于项目的需求,需要将数据从Oracle迁移到MSSQL,不是简单的数据复制,而是表结构和字段名都不一样,甚至需要处理编码规范不一致的情况,如下图所示
注意:Oracle和MSSQL中的同名表的字段名是不相同的
如果要是采用手工SQL语句操作的话会很麻烦,需要考虑
Oracle和MSSQL SQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题
而这些问题对于kettle来说都不叫事,下面就为大家介绍如何使用强大的kettle实现数据的迁移
实战
Kettle翻译成中文是“水壶”,这个名字很形象,不管你向水壶当中添加了哪些液体或者可溶物质从壶嘴里面出来的都是均匀统一的液体。对于数据加载就是:不管数据源采用什么样的格式,Excel、datatable、纯文本或者是xml,kettle都能转化成统一的格式进行处理,并且能够更具用户的需要导出不同的格式
下面我们就用kettle来解决上述问题
首先介绍一下kettle的两个工作单元:transformation和job
transformation:实现数据的转化
job:对transformation根据依赖关系组织执行顺序,还可以对job的执行进行条件判断和预处理,用户还可以设 置job的执行时间,比如每天的9:00开始执行job,这和持续构建中的job意思一样。
看一下这款神奇的软件长的什么样子
首先我们创建一个transformation,命名:tr_stu_and_class,如下图所示,目的是先将学生和班级的信息从Oracle迁移到mssql
下载地址
http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download
相关推荐
开源ETL工具kettle实战gbase8s数据迁移
Kettle,全称为Pentaho Data Integration(简称PDI),是一款功能强大的开源ETL(Extract, Transform, Load)工具,由社区驱动并免费提供。它允许用户从各种数据源抽取数据,进行清洗、转换和加载到不同的目标系统,...
Kettle,全称为Pentaho Data Integration(PDI),是一款强大的开源ETL(Extract, Transform, Load)工具,广泛应用于数据整合、数据清洗和数据迁移等场景。Kettle由Spoon、Kitchen、Pan等多个组件组成,提供图形化...
1. **Kettle(Pentaho Data Integration)**:Kettle是一个开源ETL(提取、转换、加载)工具,用于数据集成。它允许用户通过图形化的界面创建、管理和执行数据转换和数据加载任务。Kettle支持多种数据源,如数据库、...
Kettle 是一款开源的、纯 Java 编写的、跨平台的、绿色版无需安装的 ETL 工具,数据抽取高效稳定。下面是对 Kettle 环境部署和数据迁移的详细说明: 一、Kettle 结构分为三部分:Spoon、Data Integration Server 和...
Pentaho Kettle,也称为Pentaho Data Integration (PDI),是一个开源的数据集成工具,它提供了ETL(Extract, Transform, Load)功能,用于在不同的数据源之间进行数据迁移、清洗和转换。在这个压缩包中,包含的是...
### 开源ETL工具-Pentaho Kettle 使用入门 #### 一、Kettle 概述 Kettle(Kettle E.T.T.L. Environment)是一款专为数据抽取、转换、加载(ETL)而设计的强大开源工具。其名字来源于项目主程序员 Matt 的一个设想...
Pentaho Data Integration(PDI),又称为Kettle,是一款功能强大、广受好评的企业级开源ETL工具。ETL(Extract, Transform, Load)即数据抽取、转换与加载过程,是数据仓库建设中的重要环节之一。Kettle因其直观的...
Kettle,又称Pentaho Data Integration(PDI),是一款强大的开源ETL(Extract, Transform, Load)工具,它采用Java编写,可在Windows、Linux、Unix等多种操作系统上运行。Kettle以其直观的图形化界面、丰富的数据...
【ETL工具 KETTLE】是数据集成领域广泛应用的一款开源工具,其全称为"Kettle ETL Environment"。Kettle的核心在于实现数据的抽取(Extract)、转换(Transform)和加载(Load)过程,用于清洗、整合来自不同来源的...
ETL工具之Kettle是一份详细介绍Kettle的文档,Kettle是一款强大的开源ETL工具,能够高效地处理数据迁移任务。本文将详细介绍Kettle的基本概念、设计原理、核心组件、安装部署以及其图形化界面操作。 首先,ETL工具...
Kettle是一个开源ETL工具,广泛应用于数据仓库领域,用于集成不同来源的数据。本文档将覆盖Kettle的基本概念、安装配置、文件定义、个性化设置、菜单介绍以及数据步骤间的连接方式等内容,并通过一个简单的示例来...
《Kettle解决方案:使用PDI构建开源ETL解决方案》是一份深入探讨数据集成技术的文档,主要关注开源工具PDI(Pentaho Data Integration)在ETL(提取、转换、加载)过程中的应用。ETL是数据仓库和大数据处理的核心...
Kettle是一款强大的开源ETL(Extract, Transform, Load)工具,源自Pentaho公司,具有元数据驱动的设计理念。它的命名来源于"Kettle E.T.T.L. Environment"的首字母缩写,象征着将各种数据汇聚一堂,再按照特定格式...
Kettle是一款开源的ETL工具,也被称为Pentaho Data Integration(PDI)。它由社区驱动,具有强大的数据集成能力,支持各种数据源,如数据库、文件系统、Web服务等,并且提供了丰富的数据转换和加载功能。 **Kettle...
DataX是阿里巴巴研发的一款开源数据同步工具,其主要功能在于实现不同数据源之间的高效数据同步。它支持多种数据源,如MySQL、Oracle、HDFS、Hive等,并且具有强大的扩展性和灵活性。 ##### DataX 3.0 特性详解 - *...
Pentaho Data Integration (PDI) 或称为 Kettle,是一款强大的开源 ETL (Extract, Transform, Load) 工具,广泛应用于数据集成领域。Kettle 以其高度可扩展性和灵活性而闻名,支持多种数据源和目标系统之间的数据...
Kettle,也称为Pentaho Data Integration(PDI),是一个强大的、开源的数据集成工具,它由社区驱动,专为处理各种数据集成任务而设计。Kettle以Java编写,因此具有跨平台性,可以在多种操作系统上运行,如Windows、...
本文介绍了Kettle这款开源数据集成和ETL工具,重点阐述了它的两个主要组件Spoon(图形用户界面)和Kitchen(命令行工具),以及Kettle提供的数据抽取、转换和加载功能,支持多种数据源和目标,可用于数据仓库建设、...