开源ETL工具 Kettle
Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
0 准备工作:
1、做好原始数据备份,这个不再赘述;
2、建立老系统和新系统模型的对应关系,如果发现对应不上的情况,赶紧修改;即使已经建立过关系,强烈建议再次进行核对。
3、确定迁移时间:
3.1何时进行迁移:一般来说,选择夜间没有新业务时;
3.2初步估计迁移需要多少时间:如数据较多,迁移时间较长,可以考虑将数据按条件分多个批次进行迁移。
迁移:
1、选择工具:如果是相同类型的数据库的迁移,可以考虑用存储过程,更推荐使用数据迁移工具来做,一般来说,就kettle就够了;如果是超大数据量,还不差钱的话,可以使用商业工具,Informatica,ODI等等;
2、数据库环境:建议搭建一个与新系统完全相同的测试环境,至少数据库环境要完全相同;
3、迁移:这个用工具,将老系统数据迁移到测试环境的数据库,具体过程不再赘述;如果不同类型的数据库,要特别注意数据类型之间的匹配关系;
完成迁移:
1、迁移完成后,立即启用新系统,让新系统使用测试环境的数据库,如果发现有问题,在进行修改。
基本上就这些了,最后总结一下:
1、一定要做好规划;
2、测试、测试、再测试。
分享到:
相关推荐
总结来说,PowerBuilder的数据管道技术为数据迁移提供了强大而灵活的解决方案,尤其适合在企业级应用中处理复杂的数据库迁移需求。通过熟练掌握这一技术,开发者能有效地管理和控制大规模数据迁移,从而提升工作效率...
**NC56/57至NC63数据迁移工具**是用友为帮助企业从NC56/57版本平滑过渡到NC63版本而开发的一款专业数据迁移工具。此工具主要用于实现企业现有系统中的数据无缝迁移至新版系统,确保业务连续性的同时,减少升级过程中...
**泛微协同办公应用平台e-cology数据迁移方案2009V1.0** 在IT行业中,企业级协同办公系统扮演着至关重要的角色,它能够整合企业的各项业务流程,提高工作效率,降低运营成本。泛微作为国内知名的协同管理软件提供商...
数据迁移是一项复杂而关键的任务,在企业级应用中尤为常见。随着业务需求的变化和技术的进步,数据往往需要从旧系统平滑过渡到新系统中,以确保业务连续性和数据一致性。数据迁移方法的选择需基于具体的业务场景、...
### 核心应用数据迁移方案建议书知识点梳理 #### 一、系统现状 - **硬件配置**:省厅部门当前采用的服务器品牌型号多样,主要包括IBM、HP以及其他基于Intel架构的PC服务器。存储设备方面,涵盖了IBM、EMC、HDS等...
数据库表数据迁移是一个常见的任务,尤其在企业级应用中,可能因为系统升级、数据库更换或数据整合等原因需要进行。在这个场景下,我们看到的“数据库表数据迁移”是从MySQL数据库到Oracle数据库的迁移过程。下面将...
1. 物理到虚拟(P2V)迁移:文档提到了P2V,这涉及到将物理服务器上的操作系统、应用程序及数据转换为虚拟机(VM)的过程。P2V迁移通常是为了提升系统的灵活性和可管理性,降低物理硬件成本。其中,Volume Shadow ...
Informatica PowerCenter作为业界领先的数据整合平台,被广泛应用于企业级的数据仓库构建、数据迁移和数据治理任务。 【描述】:在当今信息化社会,数据已经成为企业的核心资产,而数据迁移则是管理和利用这些资产...
### Oracle RAC 数据迁移知识点详解 #### 一、Oracle RAC 数据迁移背景及意义 在企业信息化建设过程中,Oracle RAC (Real Application Clusters) 作为高性能、高可用性的数据库解决方案,被广泛应用在各种关键业务...
DataX作为阿里巴巴开源的一款强大、通用的数据同步工具,广泛应用于各种数据库之间的数据迁移。其中,DB2Reader是DataX专门为从DB2数据库进行数据迁移而设计的读取插件。本文将深入探讨DB2Reader的工作原理、配置...
数据迁移在IT行业中是一项至关重要的任务,特别是在数据库管理中。Access、Oracle和SQL Server是三种广泛应用的关系型数据库管理系统,它们各自具有独特的特性和优势。在不同的业务场景下,可能需要将数据从一种...
Informatica是一家领先的全球数据管理和集成解决方案提供商,其数据迁移解决方案旨在帮助企业高效、安全地完成数据迁移任务,同时降低项目风险和成本。 #### 二、核心价值 - **降低风险**:通过采用先进的技术和...
应用和数据迁移方案 一、应用和数据迁移方案的重要性 在现代企业中,生产作业是小时不间断运作的,因此要求系统能连续运行,并具有很高的安全可靠性。用户希望在以最小的系统停机时间完成生产系统迁移工作。本次...
在大数据领域,数据迁移是一项至关重要的任务,尤其在企业级应用中,数据的安全、稳定传输是保障业务连续性的基石。本文将深入探讨DataX中的DB2Writer插件,它是专门为DB2数据库设计的数据写入插件,用于将数据高效...
阿里云存储海量数据迁移解决方案已经在多家企业中得到了成功应用,例如某大型企业将其大量数据从传统的存储系统迁移到阿里云存储平台,实现了成本降低、性能提高、数据可靠性提高等目标。 四、存储和数据迁移的挑战...
例如,纳斯达克证券交易所通过将大量公共市场数据迁移到Amazon的简单存储服务(S3),成功地实现了数据的云存储。这一迁移不仅提高了数据的可访问性,也降低了存储和管理的长期成本。通过这样的案例,我们可以看到...
1. **Oracle数据库迁移**:Oracle是一个功能强大的关系型数据库管理系统,广泛应用于企业级应用。迁移Oracle数据到其他系统可能涉及PL/SQL对象的转换、存储过程的重写,以及对Oracle特定功能如物化视图、触发器等的...
### Oracle数据库数据迁移知识点 #### 1. 概述 - **文档目的**: 本文档主要介绍了Oracle数据库数据迁移的方法和流程,适用于减灾中心的数据迁移工作。 - **系统现状**: 减灾中心的系统分为主中心(位于百子湾机房)...