`

关于数据迁移的方法、步骤和心得

 
阅读更多

关于数据迁移的方法、步骤和心得

 在项目中经常会遇到系统完全更换后的历史数据迁移问题,以示对客户历史工作的尊重,何况很多数据仍有保留的必要。
那怎么做历史数据迁移呢?
系统分析:
1、分析原有的业务系统
精确到大致的系统功能模块、大致的处理流程即可
2、分析现有的业务系统
精确到大致的系统功能模块、大致的处理流程即可
3、分析两者自己的区别和差异
大致分析一下两个业务系统之间的区别,有助于确定工作量和工作进度
4、分析用户对旧有数据的需求
分析对旧有数据的需求,才不至于盲目的全部性的进行迁移
5、分析用户对旧有数据的处理规则
旧有数据的处理规则,一般分为以下几类:
1、基础数据,通常这一类容易迁移,数据格式简单,但是会影响所有的相关业务数据,关注点为数据的主键和唯一键的方式。
2、纯历史数据的导入,仅供参考用的,这一类数据导入容易
 2.1 纯历史数据
 这一类数据处理起来会比较容易,一次性导入即可,后续采用增量数据导入。
 2.2 流程性数据
 这一类数据只有在记录完全关闭后才能结束,需要进行增量导入和数据更新,同时还要进行相关查询界面的开发,以保证旧有数

据能够在新系统中查询的到。
3、新老系统表结构变化较大的历史数据
 这一类数据的工作量是最重的,就需要仔细去研究新老业务系统的数据结构了。
 1、尽量通过甲方单位来收集齐全相关原系统的相关设计文档,这一点对数据分析很有帮助,通过人的感觉和对数据的观察来分

析毕竟不太靠谱。
 2、在原系统上进行相关数据的观察,了解数据的变化和数据表数据的关系(对于比较难以理解的相关字段很有帮助)
 3、比较新老系统数据的差异,如果实在很不靠谱的话,建议按2.2去处理。

系统设计:
1、做完系统分析之后,对相关数据进行归类,基础数据、纯历史数据、变化较大的历史数据
2、先从简单的入手,给自己点信心
3、在excel表中进行相关表的数据字典对照,勾画出对应字段、转换逻辑、依赖关系、必要时在新系统表上做相应的冗余,等数

据迁移完毕后再清除。
关键点:
不同数据库的字段类型的匹配问题,比如SQLServer的text,在oracle应该对应clob,但是宁愿转换成几个varchar2,从实现角度

相对容易些。
关于主键的问题,一致的数据类型尽量维持现有状态,不一致的尽量采用oracle的序列或sqlserver的identity int,但是迁移完

毕后,要注意序列值的更新

系统实现:
1、PL/SQL或T-SQL
2、DTS、SSIS或者PowerBuilder的管道

后话:
1、数据迁移没有特别或高级的方法
2、对业务数据的分析最为关键,需要不断的尝试在新系统上不断的测试
3、数据迁移技术,主要通过SQL、存储过程、甚至游标来实现,优先级也如上

  

转自:http://space.itpub.net/index.php?action/viewspace/itemid/659910

分享到:
评论

相关推荐

    oracle 数据库数据迁移解决方案

    去年年底做了不少系统的数据迁移,大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移,有一些心得体会,与大家分享。  首先说说迁移流程,在迁移之前,写好方案,特别是实施的方案步骤一定...

    从SpringMVC迁移到Springboot的方法步骤

    从SpringMVC迁移到Springboot的方法步骤 从SpringMVC迁移到Springboot是一种常见的迁移方式,本篇文章主要介绍了从SpringMVC迁移到Springboot的方法步骤。 Profile配置是Spring框架中的一种重要机制,用于管理多个...

    JIRA迁移过程中的问题及心得.docx

    JIRA迁移是一个复杂的过程,涉及到多个关键步骤和可能遇到的问题。本文主要分享了在进行JIRA迁移时的一些问题、解决办法以及操作心得,这对于任何计划进行JIRA环境迁移的IT专业人员都是宝贵的参考。 首先,迁移背景...

    数据仓库建模

    本文档将深入探讨数据仓库建模的方法和心得。 一、数据仓库的概念 数据仓库是一个集中的、非易失性的、用于决策支持的数据集合,它存储了从不同业务系统中提取的历史数据。与操作型数据库不同,数据仓库关注的是...

    建立Hive和Hbase的映射关系,通过Spark将Hive表中数据导入ClickHouse

    在大数据处理领域,数据的迁移和整合是常见的任务。本话题关注的是如何建立Hive与HBase之间的映射关系,并利用Spark将Hive中的数据高效地导入到ClickHouse数据库。以下将详细介绍这一过程的关键步骤和涉及的技术点。...

    大数据技术基础实验报告-sqoop的安装配置与应用.doc

    Sqoop作为大数据处理的重要工具,简化了Hadoop和RDBMS之间的数据迁移工作。正确配置和使用Sqoop,可以有效地实现大数据的导入导出,提高数据处理的效率。在实验中,了解每个步骤的细节和注意事项,对于理解大数据...

    crm从开发到完成心得体会

    部署阶段要考虑环境配置、数据迁移、权限设置等,确保系统顺利上线。运维则关注系统的日常监控、故障排查、更新升级等工作,保证系统的稳定运行。 九、用户培训与支持 CRM系统的成功实施离不开用户的有效使用。因此...

    【超详细整理学习心得】金蝶云系统操作手册-总账01.pdf

    本文档是一份关于金蝶云星空总账模块的学习心得与操作手册,其中包含了总账模块的核心功能和操作流程,以下是根据文档内容总结出的关键知识点。 1. 总账模块的整体流程 文档首先介绍了金蝶云星空总账模块的整体流程...

    分片式集群搭建说明(心得体会).docx

    - **数据迁移**:MongoDB支持动态分片,当数据增长或片键分布不均时,系统会自动进行数据迁移。 6. **故障恢复与高可用性**: - **主节点故障**:从节点通过仲裁节点选举成为新的主节点,保证服务连续性。 - **...

    DB 分库分表项目改造心得

    6. **数据迁移与同步**:在进行数据库改造时,数据迁移是必不可少的步骤,这可能涉及到数据的平滑迁移、双写策略以及数据一致性保证。同时,还需要考虑后续数据的实时同步,以确保各个分片之间的数据一致性。 7. **...

    STM32F10X FLASH模拟eeprom心得(原创)

    7. **优化与效率**:为了提高效率,可以使用一种称为“虚拟扇区”的方法,将多个实际的Flash扇区合并成一个大的虚拟扇区,这样可以减少数据迁移的次数。 通过以上步骤,我们可以创建一个自定义的Flash模拟EEPROM...

    mssql2mysql

    在实际操作中,数据迁移通常包括以下步骤: 1. **准备阶段**:评估源数据库结构,确保目标数据库(MySQL)支持所有特性。可能需要对某些SQL Server特有的功能进行调整或替换。 2. **数据映射**:识别和处理SQL ...

    ETL工具Kettle用户手册

    **ETL工具Kettle用户手册** ETL(Extract, Transform, Load)是数据仓库领域中的核心过程,负责从各种源系统中抽取数据、转换数据格式并加载...通过深入学习和实践,用户能够充分利用Kettle实现高效的数据处理和迁移。

    WordPress数据备份心得分享

    备份是防止数据丢失的关键步骤,尤其是在服务器资源耗尽或需要迁移到新服务器时。备份WordPress网站涉及到数据和文件的保存,以便在发生灾难时能够快速恢复服务。 首先,我们来了解一下WordPress的数据结构。...

    计算机视觉(CV)开发实战:图像分类系统的实验心得与案例解析

    - **数据清洗和格式化**:去除重复或质量差的图片,统一图片格式和尺寸。 - **应用数据增强技术**:利用图像增强技术增加数据集的多样性,提高模型的泛化能力。 ###### 3.2.3 模型选择与训练 - **选择合适的预训练...

    ORACLE的学习方法的列表

    5. **数据迁移**:了解如何使用逻辑备份、RMAN或其他工具将数据从一个环境迁移到另一个环境。 6. **表空间管理**:掌握添加新表空间或调整现有表空间大小的方法。 7. **DataGuard安装与维护**:实现高可用性,确保主...

    PyTorch 实用技巧心得

    ### PyTorch 实用技巧心得 #### 一、引言 随着深度学习技术的发展与应用,PyTorch作为一款强大的开源深度学习框架,在研究和工业界都得到了广泛的使用。其灵活性和易用性使得开发者能够快速构建复杂的神经网络模型...

Global site tag (gtag.js) - Google Analytics