-
如果快速大批量迁移数据（千万级、亿级海量数据）0
在项目中，需要将老数据转换并迁移到新库，数据库使用的是Oracle11，新库里有一个大表共有约4亿条记录，现在还需要将约4千万条记录append到这个大表下。我使用过以下方式，均没有达到理想效果。
1.直接用insert/+append nologging/ into，如果1万条记录提交一次，测试时大约用了30多个小时，对于小量数据的，可以这样做，大表就不行了，直接爆满；
2.用expdp/impdp，也不行，因为如果遇到主键重复，或者其他不知道的原因，会直接跳过了，数据未能迁移，而且迁移的速度也不快；
3.在迁移时，已将新库里的索引（除了主键与唯一索引）置为无效状态；
请求大虾有没有更好的解决方案，谢谢！2014年2月24日 08:59
添加评论
关注(9)9个答案 按时间排序 按投票排序
-
游标+BULK COLLECT forall 分批迁移。比如按时间，先迁移2013年1月的，再迁移2月的。依次，按月循环，如果有时间字段的话。
2014年2月24日 09:38
-
我开发过这方面的应用。想高效率，高可靠性的完成数据的迁移，可以这样做：
一边读源数据库，一边插入数据到目标数据。
当然读的过程中，是把数据缓冲在阻塞队列中的，
然后让多线程去把数据插入到目标数据库。
可以达到5000--7000条/秒2014年2月24日 09:36
相关推荐
现需要开发一套程序用来快速迁移数据库，要求如下： 1.使用人员可以指定迁移数据库类型 如:(orcal,sqlServer,csv 迁移至mysql) 2.在迁移数据库时，可以只迁移指定字段. 3.开发多任务的平台，按权重去执行任务，如：...
Oracle导Mysql适用于百、千万级别数据迁移，速度是kettle的10倍以上数据库迁移 数据迁移 千万级 亿万级数据，MySQL oracle关系型 现需要开发一套程序用来快速迁移数据库，要求如下： 1.使用人员可以指定迁移数据库...
### 从 SQL Server 迁移大批量数据到 Oracle 在 IT 领域，数据库迁移是一项常见的任务，尤其是在企业级应用中。随着业务的发展和技术的进步，企业可能需要将现有的 SQL Server 数据库迁移到 Oracle 数据库。本文将...
藏经阁-向云迁移-海量数据迁移解决方案...阿里云存储海量数据迁移解决方案可以帮助企业快速、安全、稳定的将大量数据迁移到云存储平台，解决存储和数据迁移的挑战，提高数据可靠性、服务可用性、功能先进性、安全性等。
数据迁移服务V200R100C00----VMware虚拟机数据迁移方案 数据迁移服务V200R100C00是...数据迁移服务V200R100C00是一款功能强大且易于使用的数据迁移工具，能够帮助用户快速地将VMware虚拟机数据迁移到新的存储设备上。
在Oracle数据库环境中，快速转移海量数据是一项常见的任务，特别是在数据迁移、备份恢复或者数据库优化的过程中。本文将介绍两种高效的方法，适用于将80MB以上的数据从一个用户或表空间转移到另一个用户或表空间，且...
传统的数据处理方式，例如直接使用参数化SQL或DataSet与DataAdapter，可能会在处理大批量数据时遇到性能瓶颈，因为每次操作都要对目标表进行多次独立的SQL交互。这种情况下，数据库的优化效果可能无法满足需求，尤其...
表数据迁移 表中的数据量在几亿以下
通过本教程，我们可以学习如何快速迁移 Oracle 数据库，以实现稳定快速的大数据量迁移。以下是本教程中所涵盖的知识点： 1. 了解 Oracle 数据库迁移中的挑战：在迁移 Oracle 数据库时，常见的问题包括表空间导出...
Oracle数据迁移工具是一种高效、便捷的方法，用于在不同的Oracle数据库之间移动数据或结构。这个工具由.NET框架构建，提供了一种灵活且用户友好的界面，使得数据库管理员和开发人员能够轻松地执行各种数据迁移任务。...
- 迁移前需对数据进行备份，以防万一出现问题时能够快速恢复。 #### 五、迁移场景 - **全量迁移**: 将旧系统中的所有数据完整迁移到新系统。 - **增量迁移**: 在全量迁移的基础上，只迁移新增或修改的数据。 - **按...
本文主要讨论海量数据处理策略，首先介绍了海量数据的特点，即数据量大、数据结构复杂、数据更新快、随机访问等特点。然后，文章讨论了海量数据处理的难点，如数据量过大、硬件要求高、系统资源占用过高等问题。 ...
Oracle 数据迁移完整手册 Oracle 数据迁移是一种常见的数据库管理操作，目的是将 Oracle 数据库从一台服务器迁移到另一台服务器。以下是 Oracle 数据迁移的完整手册，涵盖了迁移方法概述、实现步骤、其他方法等...
数据迁移是一项复杂而关键的任务，在企业级应用中尤为常见。随着业务需求的变化和技术的进步，数据往往需要从旧系统平滑过渡到新系统中，以确保业务连续性和数据一致性。数据迁移方法的选择需基于具体的业务场景、...
在IT行业中，数据库管理是一项至关重要的任务，而SQL数据迁移工具正是解决这一问题的有效手段。本文将深入探讨SQL数据迁移工具的功能、应用场景以及常见的迁移策略。 SQL数据迁移工具，如标题所示，是一种能够帮助...
在这个案例中，Kettle的高效数据处理能力确保了在一亿条数据量下，仅用30分钟就完成了导入过程，这体现了其在大数据量处理上的优势。 "经测用时30分钟，比较完美的解决了out of memory问题"揭示了Kettle在处理...
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
对于那些正考虑或已经决定采用Mycat进行分布式数据库管理的用户来说，Yugong提供了一条便捷的路径，帮助他们快速、稳定地完成数据迁移工作。 首先，我们来了解一下Mycat的核心功能。Mycat是一款基于Java开发的...