华夏银行大集中核心业务系统数据迁移项目【转】

华夏银行采购国外核心业务系统产品（BANCS）来建设新的大集中核心业务系统，数据迁移是在保证全行各业务正常运营的情况下，实现数据从旧系统（以帐户为中心的记帐模式）通过数据清理、筛选、分析、计算、调整等处理变为满足新一代核心业务系统（以客户为中心、以产品为向导）的数据要求。整个迁移工作必须做到各系统的数据源数据能够准确、完整、高效的迁移到BANCS系统中。
    数据迁移工作由行里牵头组织完成，由于中信网络科技股份有限公司熟悉行里旧系统，能够协助行里更好的完成大集中工作中的数据迁移这个重要环节，所以在200年7月份以技术服务的名义加入，全程参加Mapping、总体规划、详细设计、编码实现等工作，至2006年9月份项目已取得阶段性成果。

建设原则：
    高效：数据迁移是大集中工程的一个环节，当分行上线时，形成了BANCS中间文件结果后，还有很多工作需要完成，所以尽量缩短数据迁移的时间是非常必要的，这就要求迁移应用从系统结构、程序设计、数据库技巧等方面着手，提高执行效率。
    结构化：数据迁移目标的实现是一个逻辑复杂、技术含量高的过程，在合理的系统结构下才能适应数据源、迁移逻辑和数据目标的各种变化，才能应对实际迁移时发生的各种突发情况。
    直观：数据迁移工程人员需要一个直观、集成的操作平台，这样可以对全过程进行调度、控制和跟踪，而且大量的查询、数据维护工作是必不可少的，良好的操作界面可以避免许多环节上的意外情况发生。

迁移过程：
    ◆ 从BANCS中间文件的数据字典分析入手，建立好详细准确的栏位转换MAPPING，一定要注明每个栏位的转换数据来源和具体算法。MAPPING分析结果是数据清理系统、数据补录系统和数据迁移系统设计的依据，是整个数据迁移流程的基础，尽量做到每个栏位描述得准确且无二义性。
    ◆ 在MAPPING分析的过程中，对于在BANCS需要而旧系统没有相关信息或者相关信息不准确不能采用的栏位，可以确定通过补录完成。据此编写补录程序或提出补录电子表格需求，由业务人员通过补录系统或以电子表格形式补录相关数据。
    ◆ 包括非法数据的清理和帐务的调整，对历史数据的清理。不同的业务系统模块的重点有些不同。
    ◆ 根据MAPPING、补录数据和旧系统数据进行数据迁移。转换程序的编写原则是：确保准确，提高效率。数据迁移程序的设计思路与业务数据量（记录数）的大小相关。在转换程序中，加入统计功能，使得转换时即产生了中间文件的统计记录，便于核对。
    ◆ 对转换后数据需要进行常规检核、横向检核以及总分帐务检核，并产生转换后报表，与转换前的报表数据对比分析。
    ◆ 数据满足BANCS的横向检核关系以及帐务的总分和借贷平衡之后，将数据卸成中间文件，再按照总行要求上传到数据中心。
    ◆ 在数据迁移过程中，某些数据相关联的文件、栏位较多，考虑到转换的风险、效率以及数据的完备性，这些数据建议通过BANCS交易补录完成。分为两种情况：第一种是在试运行时补录；第二种是在上线后客户办理业务时补录。
    ◆ 数据迁移的成功与否，最能说明问题的应该是整体测试和模拟测试。对测试过程中发现的问题要分析透彻，确定是否是数据迁移引起的错误。
    ◆ 在项目实施过程中，上述所有过程几乎不可能一次性全部完成，需要经过多次的过程反复，逐步减少错误，逐步接近BANCS的转换要求，最终确保正式转换的顺利进行。

    从MAPPING工作的结果来看，基础数据源存在数据质量不高的问题，而且BANCS中间文件也存在由于业务差距等原因调整的可能，以建行为例，近三年的集中工作做下来，直到2004年底DCC中间文件一直在调整。
    如果在基础数据源和BANCS中间文件中直接建立一个ETL过程，那么极有可能发生维护工作复杂、大量返工等问题，而且一个流程的处理并不一定是简单高效的，所以从高效和结构化的系统建设原则出发，以三层结构、两个ETL过程、分布处理来实现数据迁移工作。
    要考虑到实际数据迁移时可能发生需要重新迁移的特殊情况，此时如果明确整合的数据源是正确无误的，那么重新迁移的过程将大大缩短。
    上面的系统逻辑结构规划不是一成不变，由于数据迁移是个反复迭代的过程，第一阶段的系统规划是完全按照三层结构来实现的，后续阶段直至上线试运行阶段时极有可能不是“一刀切”的采用三层结构来实现，需要站在前面阶段实际数据迁移效率的基础上具体分析，例如：客户信息整合等必须提供整合中间层；其他可以把两个ETL过程捏合成一个过程等等。

    系统通过卸数、整合、迁移三个处理逻辑来实现整个数据迁移工程的自动迁移工作，其中：卸数处理逻辑实现对基础数据源的清洗和整理；整合处理逻辑实现分散数据的整合和归并；迁移处理逻辑实现整合后数据的最终迁移。
    系统提供基础数据源和整合后数据源之间、整合后数据源与FNS中间文件之间的检核功能，确保数据迁移工作的数据准确性和完整性。
    控制台透视整个数据迁移全过程，实现对数据迁移流程的调度、控制和跟踪，提供对整合后数据源和FNS中间文件的数据维护，实现数据补录和手工迁移功能，作为自动数据迁移的必要补充。

阶段项目成果：
    截至到2006年9月30日本项目已经完成了存款、贷款（企业贷款、自助贷款）的一期中间文件的生成，提交FNS后，分别根据FNS三次反馈的问题进行了程序的调整。而CIF已经完成了FNS提交的二期的中间文件的生成，并提交给了FNS进行效验。数据清理和手工补录程序也用北京分行的真实数据进行了整体的测试。