`
nlslzf
  • 浏览: 1044902 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

挑战极限:4秒100万条数据导入SQL数据库

阅读更多
http://publish.itpub.net/a2010/0318/862/000000862359.shtml
【IT168技术】实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。
  本实验中所用到工具为VS2008和SQL SERVER 2000、SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。
  还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。
  下面进入正题,分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。
  数据库方面使用SQL 2000与SQL 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。
  
  图1 试验中的5种方法
  方法一.使用基本的Insert 语句
  这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?
  本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。
基本语句:Insert Into TableB (Value1) values (‘”+i+”’);
    说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。
  SQL 2000 耗时:901599
  SQL 2008耗时:497638
  方法二.使用BULK INSERT语句
  这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。
  “BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?
 基本语句:BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)
说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。
  SQL 2000耗时:4009
  SQL 2008耗时:10722
分享到:
评论

相关推荐

    100万条数据导入SQL数据库仅用4秒

    本文将深入探讨如何使用C#语言实现100万条数据快速导入SQL Server数据库,仅需4秒的惊人速度。这个成就得益于一系列优化策略和技术手段的综合运用。 首先,我们需要理解SQL Server数据库的批量插入机制。在SQL ...

    4秒100万条数据导入SQL数据库-NET(C#)demo 试验的5种方法

    4秒100万条数据导入SQL数据库-NET(C#)demo 试验的5种方法,比较各种方法的导入速度 基本Insert Into 单线程Bulk Insert 多线程Bulk Insert 单线程SqlBulkCopy 多线程SqlBulkCopy.zip

    极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

    极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 以上就是这几天的实验结果了,比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。 另外,有下载源代码的帮我看看,为...

    4秒100万条数据导入SQL数据库-NET(C#)demo

    4秒100万条数据导入SQL数据库-NET(C#)demo 试验的5种方法,比较各种方法的导入速度 基本Insert Into 单线程Bulk Insert 多线程Bulk Insert 单线程SqlBulkCopy 多线程SqlBulkCopy

    百万级数据在Excel和Sql数据库之间相互导入、导出

    4. **Power Query/Microsoft Query**:Power Query(在Excel 2016及以后版本中)或Microsoft Query(在较早版本中)允许用户通过查询语言直接与SQL Server交互,支持数据的导入和导出。 5. **编程接口**:对于自动...

    导入Excel数据到MS Sql数据库托管C++代码

    在许多情况下,我们需要将Excel表格中的数据导入到关系型数据库,如MS SQL Server,以便进行更高效、更复杂的操作和分析。托管C++是一种允许C++开发者利用.NET框架特性的编程语言,它结合了C++的强大性能与.NET的...

    mysql 100万1000万条数据表的生成,t100w.sql导入文件

    【注意】建表需要先建库,然后在mysql中运行: source /路径/t100w.sql 即可以导入100万条的数据,表结构如下: DROP TABLE IF EXISTS `t100w`; CREATE TABLE `t100w` ( `id` int(11) DEFAULT NULL, `num` int(11...

    c#实现excel数据高效导入到sql数据库

    ### C# 实现 Excel 数据高效导入到 SQL 数据库 #### 概述 本文将详细介绍如何使用 C# 来实现 Excel 文件中的数据高效导入至 SQL Server 数据库的过程,并且能够实现数据的备份与恢复功能。这种方法在很多场景下都...

    通过Delphi将EXECL数据导入SQL数据库

    本教程将详细介绍如何使用Delphi编程环境将Excel数据导入到SQL数据库中。Delphi是一个强大的Windows应用程序开发工具,它支持使用Object Pascal语言,而Excel数据的导入则涉及到文件I/O和数据处理。SQL数据库,如...

    使用宏直接将EXCEL数据导入到sqlServer数据库

    利用EXCEL中的宏,直接将excel中的数据导入到sqlServer数据库脚本

    Excel数据导入到SQLServer数据库中

    本文将详细讲解如何将Excel数据导入到SQL Server数据库中,并探讨这个过程中的关键知识点。 首先,导入Excel数据到SQL Server通常有几种方法:使用SQL Server Management Studio (SSMS) 的“导入和导出数据”向导、...

    把Excel表中的数据导入sql service数据库的语句

    将Excel表中的数据导入SQL Server数据库是一项常见的数据迁移任务,特别是在数据分析、报表制作或系统集成的场景下。本文将深入探讨这一过程的关键步骤和技术细节,包括理解必要的SQL语句、配置连接字符串以及处理...

    日志服务器kiwisyslogd安装与配置将日志文件导入SQL数据库[整理].pdf

    《日志服务器kiwi syslogd的安装与配置:将日志数据导入SQL数据库》 日志服务器在IT系统管理中扮演着至关重要的角色,它能够收集、存储和分析来自网络设备的日志信息,帮助运维人员追踪问题、检测安全威胁以及进行...

    excel 数据导入sql数据库

    ### Excel数据导入SQL数据库知识点详解 #### 一、引言 在日常工作与开发过程中,将Excel数据批量导入到SQL数据库中是一项非常常见的需求。这种方式不仅可以提高数据处理的效率,还能减少手动输入数据带来的错误,...

    88秒插入1000万条数据到MySQL数据库表的操作方法

    其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4232009 > ...

    sql server 数据库导入导出方法

    SQL Server 数据库导入导出的方法 SQL Server 数据库导入导出是数据库管理员和开发者常用的操作,目的是将数据库备份到本地或网络存储设备中,以便在需要时恢复数据库或将数据库迁移到其他服务器上。下面将详细介绍...

    ifix数据与sql数据库连接

    ### IFIX 数据与 SQL 数据库连接详解 #### 一、SQL 设置步骤 为了实现 IFIX 与 SQL 数据库之间的连接,我们首先需要确保 SQL Server 的正常运行。以下是一些基本的配置步骤: 1. **配置管理器设置**: - 打开 ...

    sql数据库数据导入到oracle

    本案例中,"sql数据库数据导入到oracle"的主题涉及从SQL Server数据库将数据转换并导入到Oracle数据库的过程。下面我们将详细探讨这一过程涉及的知识点。 1. **SQL Server和Oracle概述**: SQL Server是由...

Global site tag (gtag.js) - Google Analytics