`
chen291382932
  • 浏览: 6830 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

不同数据库之间的不同表结构的数据迁移

阅读更多
Author 陈礼松
最近在在项目组中碰到一个这样的问题,我们做的新系统需要老数据库中导入,就出现了这样的问题
1. 不同的数据库之间的数据迁移;
2. 表结构变化很大;
3. 支持多张表多种字段的对应的数据迁移;
4. 考虑数据量很大的迁移。
然后就写了一个小工具,能解决这样的问题,感觉功能还是蛮通用的,所以就分享一下,主要实现功能:
      1. 表字段数据对应关系的可配置化 config.properties的key对应目标数据库的“表名.字段名“ ,value对应源数据库的”表名.字段“,在配置的过程中以key为主,value为源数据库中的字段可重复,例如中间表;
      2. 这个是从sqlserver2005 - oracle11的数据迁移,如果数据库类型不一样,请修改以下几个地方:
a) DRIVER;
b) URL;
c) Jar包;
d) 源数据库的分页查询可能不一致。
       3.原理:利用两个线程循环批量每次读5000条数据插入5000条数据,读完一张表继续下一张表的的操作。

                   各位如果有提出提升或者改进的地方,不吝赐教。

分享到:
评论
3 楼 chen291382932 2014-02-14  
gnail_oug 写道
附件压缩包损坏……

压缩包是由于公司电脑加密的原因,我会在今天2014-2-14晚上之前重新传上去的。
2 楼 jason_3345 2014-02-13  
gnail_oug 写道
附件压缩包损坏……

1 楼 gnail_oug 2014-02-13  
附件压缩包损坏……

相关推荐

    不同数据库之间的数据导入导出

    本文将深入探讨不同数据库之间进行数据导入导出的方法,特别关注两个具体案例:一是表空间相同情况下的数据迁移,二是表空间不同的情况下的数据迁移。 #### 表空间相同的数据导入导出 当两个数据库(假设为db1和...

    Java实现数据库迁移同步

    2. **获取表结构**:通过查询`INFORMATION_SCHEMA`或数据库特定的系统视图,获取源数据库中的表结构信息,如字段名、类型、主键等。 3. **数据抽取**:使用SQL查询语句从源数据库中选择需要迁移的数据,可以是全量...

    数据库快速备份表结构

    这种工具通常可以设置定时任务,自动执行数据库表结构的备份,同时可能支持备份部分或全部数据。部分数据备份可能基于特定的表或查询条件,这对于大型数据库来说非常实用,避免了全量备份的资源消耗。 备份策略也应...

    不同数据库之间导数据

    当两个数据库的表结构相同但表空间不同时,数据迁移需要采取不同的策略。一个常见的解决方案是使用SQL语句结合脚本来实现数据的导出和导入。 1. **导出数据**:编写一个shell脚本,使用SQL*Plus或其他SQL工具将源...

    数据库表结构和数据对比工具

    数据库表结构和数据对比工具是IT领域中用于管理和优化数据库不可或缺的一部分。这些工具的主要功能是对两个或多个数据库实例之间的表结构和数据进行比较,以便识别差异、同步更新或进行审计。在SQL环境中,这种对比...

    不同数据库之间的表复制

    1. **数据整合与迁移**:当企业进行系统升级或合并时,可能需要将旧系统中的数据迁移到新系统或新的数据库中,这时表复制成为数据迁移的重要手段。 2. **数据备份与恢复**:定期将关键数据表复制到另一个数据库,...

    两个数据库表结构比较(C#)

    在IT行业中,数据库是存储和管理数据的核心工具,而数据库表结构则是定义这些数据如何组织和存储的关键元素。本文将深入探讨如何使用C#进行两个数据库表结构的比较,并解析描述中提到的知识点。 首先,我们要理解...

    GreenDao3 数据库的使用以升级时数据迁移和添加新表

    当需要对数据库进行升级时,比如增加字段或修改表结构,GreenDao提供了一种优雅的方式来处理数据迁移。首先,你需要创建一个新的数据库版本,并定义一个`UpgradeHelper`。这个助手类负责在升级过程中执行必要的SQL...

    数据库表数据迁移

    数据库表数据迁移是一个常见的任务,尤其在企业级应用中,可能因为系统升级、数据库更换或数据整合等原因需要进行。在这个场景下,我们看到的“数据库表数据迁移”是从MySQL数据库到Oracle数据库的迁移过程。下面将...

    oracle向达梦数据库迁移

    这一步涉及复制Oracle数据库中的表结构,包括表名、字段、数据类型、主键、外键、唯一性约束、非空约束等,并在DM8中重建。同时,迁移索引以保持查询性能,以及字段的注释和序列,用于自增字段。 四、删除键,约束...

    瀚高数据库windows版数据库迁移工具4.0.3版本【内附使用手册】

    - **结构迁移**:迁移数据库表结构、索引、视图、存储过程等,保持源数据库与目标数据库的一致性。 - **增量迁移**:支持在线迁移,可以实时同步源数据库新增的数据,降低停机时间。 - **迁移验证**:迁移前后...

    不同数据库之间复制表的数据的方法.pdf

    在IT领域,数据库管理是至关重要的任务之一,其中包括数据迁移、复制和同步。本文将详细介绍在不同数据库之间复制表数据的几种方法。 首先,当目标表已存在于目标数据库时,可以使用`INSERT INTO SELECT`语句来实现...

    oracle项目--DataBase Migration(数据库迁移)PPT

    工具能够识别数据结构,转换数据类型,并将整个数据库结构和数据迁移到Oracle。此工具可能更适用于大型和复杂的数据库迁移项目,因为它能减轻手动转换的工作量。 在所有这些方案中,安全性和数据完整性都是至关重要...

    jdbc连接程序实现不同数据库数据的迁移

    在IT行业中,数据库数据迁移是一项常见的任务,尤其在企业级应用中,可能需要将数据从一个数据库系统迁移到另一个以适应不同的业务需求或技术升级。本篇将详细讲解如何使用JDBC(Java Database Connectivity)连接...

    金碟数据库表结构说明

    本资源集合了日常使用中的经验总结和部分软件使用说明,旨在为用户提供一个全面了解金碟数据库表结构的指南。以下是针对工业数据库表和商业数据库表的字段说明,以及常用数据单的详细解析。 首先,我们来看“金碟...

    自动对比2个数据库表结构差异

    在IT行业中,数据库是存储和管理数据的核心工具,而数据库表结构则是数据组织的基础。有时候,我们可能需要对比两个数据库的表结构差异,比如在升级系统、迁移数据或进行数据库同步时。本篇将深入探讨如何自动对比两...

    速达数据库表结构解析

    《速达数据库表结构解析》 速达数据库表结构是速达软件系统的重要组成部分,它定义了数据如何在系统中组织、存储和管理。对于深入理解速达软件的工作原理,尤其是进行二次开发或数据分析的人来说,掌握数据库表结构...

    android 数据库表结构更新步骤

    随着应用的发展和功能的增强,数据库表结构的更新是常有的事情。下面将详细讲解如何在Android中进行数据库表结构的更新,以及如何处理旧版本程序中表的接口添加、删减字段的问题。 1. **创建SQLite数据库** - ...

    异构数据库的数据迁移.doc

    1. **数据类型转换**:不同数据库的数据类型限制,可能需要调整表结构。 2. **异常数据处理**:处理特殊字符、回车换行等问题,确保数据迁移的准确性。 3. **硬件资源**:迁移后需评估新数据库对硬件资源的需求,...

Global site tag (gtag.js) - Google Analytics