-
大家来讨论一下数据库导入导出的算法问题吧5
现在要从一个SQL Server 2008服务器上每天读取N个增量表（有insert和delete），最多的增量条数10000条左右，数据表达到百万级，分发到几台服务器（数据库有MSSQL、ORACLE等），表名不一致，字段名不一致，我尝试了几种方法：
1、用executeBatch先执行delete，在executeBatch执行insert
2、在目标数据库中创建临时表，然后再执行一个存储过程先delete再insert
3、在目标数据中创建存储过程，用executeBatch调用存储过程
第一种方法遇到的问题是遇到数据量非常大，delete是非常慢，因为是通过主键一条一条删除
第二种和第三种方法倒是效率很高，但工作量巨大。
大家有啥好办法啊？支个招吧！谢谢！谢谢！谢谢！2013年9月03日 20:01
添加评论
关注(0)2个答案 按时间排序 按投票排序
-
创建夜间job，每天晚上自动执行存储过程：
1.创建link，连接到抽取数据的库。
2.对要抽取数据的表建立同义词。
3.替换或创建实体表（和同义词一一对应）。
4.执行insert into 将所要查询的数据抽取到实体表。
5.在实体表查询字段上加上索引。
6.truncate你要插入数据的表，执行insert into，将实体表中的数据插入到最终的表中。2013年9月12日 14:00
相关推荐
《NavicatV8.0：数据库管理与导入导出利器》 NavicatV8.0是一款功能强大的数据库管理工具，尤其在数据导入导出方面表现突出，它支持多种数据库系统，包括MySQL、PostgreSQL、Oracle等。该版本的亮点在于其便捷性和...
### Excel导入导出算法（C#） #### 一、引言 在许多业务场景中，Excel文件作为一种常用的数据存储格式，被广泛应用于数据交换、数据分析等领域。为了更好地处理Excel文件，开发人员通常需要具备一定的Excel读写...
DELPHI实现异构数据库导入导出是一种在编程领域中常见的需求，特别是在处理大量数据迁移或集成时。本文将深入探讨DELPHI如何高效地完成这项任务，分享相关的技术和策略。 首先，我们要理解什么是异构数据库。异构...
Oracle数据库报表导入导出工具是针对Oracle数据库设计的一款高效、便捷的数据管理软件，它使得数据库中的数据报表处理变得更加简单和直观。在Oracle数据库环境中，数据的导入与导出是日常维护工作的重要环节，用于...
在IT行业中，数据导入导出是一项基础且重要的任务，特别是在Java开发中。本文将深入探讨如何使用Java进行数据的导入和导出，包括Excel、XML和TXT等常见格式的处理。 首先，我们要理解数据导入导出的核心目的：将...
总的来说，“Csv导入导出.rar”提供了一个全面的工具集，帮助用户在各种环境中方便地处理CSV数据，无论是数据分析、数据迁移还是简单的数据存档，都能从中受益。通过深入理解和使用这套工具，可以提升CSV数据处理的...
- 错误处理是程序设计的重要部分，应确保当导入导出过程中遇到问题时，能够给出明确的错误信息，便于排查问题。 6. **性能优化**： - 对于大数据量的操作，优化数据处理策略，例如分批处理，避免一次性加载所有...
标题 "C# SQL Server2008R2与Excel的导入导出" 涉及的是在.NET开发环境中，利用C#语言与SQL Server 2008 R2数据库进行数据交互，特别是数据的导入和导出功能。SQL Server 2008 R2是微软公司的一款强大的关系型数据库...
综上所述，千方单据导入导出工具1.1 是一个基于组件的系统，使用了ADO来连接数据库，结合其他DLL文件实现数据的安全处理和验证。通过其丰富的功能，用户可以高效地管理大量的单据数据，进行跨系统迁移，同时保证数据...
标题中的“Excel大量数据快速导入数据库源码”指的是一个编程项目，目的是实现高效地将Excel文件中的大量数据导入到数据库中。这个项目可能包含了优化的数据处理算法，以提高批量导入的效率，尤其对于处理大数据量的...
同时，为了保证高效的数据处理，它可能采用了优化的算法和技术，以提高数据导入导出的速度和性能。 8. 用户友好：作为一款中文免费软件，迷你Excel数据导出工具旨在为国内用户提供便利。简洁的界面和易于理解的操作...
1. 高速数据传输：Golden工具通过优化的算法和接口，能够大大提高数据导入导出的速度，减少操作时间。 2. 支持多种格式：它可以处理各种数据格式，如CSV、XML、DBF等，方便数据在不同系统间转换。 3. 完整性保障：在...
同时，BuildSQL提供了详尽的错误报告和日志功能，有助于排查问题，确保数据导出过程的顺利进行。 对于大型数据库的处理，BuildSQL也表现出优秀的性能。它支持批量处理和多线程导出，能够在短时间内处理大量数据，...
"活字格-导入导出CSV.zip"是一个与数据处理相关的压缩包，主要涉及的是在活字格平台中导入和导出CSV（Comma Separated Values）文件的功能。CSV文件是一种常见的数据存储格式，因其简单易用且兼容性高而被广泛应用于...
Golden工具是专为Oracle数据库设计的一款高效的数据导入导出工具，被誉为最快的解决方案之一。 Golden7.0.700是最新的版本，提供了对32位和64位操作系统的支持，这意味着无论是老式的32位系统还是现代的64位系统，...
在IT行业中，"export.jsp 导入、导出"是一个常见的功能，特别是在Web应用程序中，它允许用户将数据导出为文件格式，如...对于一个IT专业人员来说，理解和掌握这些技术是必要的，以便于开发高效、安全的导入导出功能。
对于非常庞大的数据库，甚至会出现无法导出或导入的情况，这对于数据库管理员来说是个头疼的问题。 **MySQL** 是一种广泛使用的开源关系型数据库管理系统（RDBMS），因其高效、稳定和易用性而备受青睐。然而，随着...
6. **错误处理**：良好的错误处理机制可以确保在数据导入导出过程中遇到问题时，程序能够优雅地处理，避免数据丢失。 在压缩包中的"Excel超级列表框快速导入导出.e"文件很可能是易语言的源代码示例，包含了实现上述...
在日常管理中，神舟通用数据库管理工具提供了一站式的解决方案，包括数据库对象的创建、修改、删除，以及数据的导入导出等操作。同时，它还支持批处理操作，大大提高了工作效率。通过可视化的方式，用户可以清晰地...