实战手记:让百万级数据瞬间导入SQL Server
想必每个DBA都喜欢挑战数据导入时间,用时越短工作效率越高,也充分的能够证明自己的实力。实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本文将向大家推荐一个挑战4秒极限让百万级数据瞬间导入SQL Server实验案例。
本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。所用到工具为Visual Studio 2008和SQL Server 2000、SQL Server 2008,分别使用5中方法将100万条数据导入SQL Server 2000与SQL Server 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。
好了,下面我们分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。
数据库方面使用SQL Server 2000与SQL Server 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。
方法一.使用基本的Insert 语句
这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?
本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。
-->基本语句:
Insert Into TableB (Value1) values (‘”+i+”’); 说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。
SQL Server 2000 耗时:901599
SQL Server 2008耗时:497638
方法二.使用BULK INSERT语句
这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。
“BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?
--> 基本语句:
BULK INSERT TableB FROM '
c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER
/.,mbMINATOR='|',BATCHSIZE = 100000)
说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。
SQL Server 2000耗时:4009
SQL Server 2008耗时:10722
方法三.在多线程中使用BULK INSERT
在方法二的基础上,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。
SQL Server 2000耗时:21099
SQL Server 2008耗时:10997
方法四.使用SqlBulkCopy类
这种方法速度也很快,但是要依赖内存,对于几千万条、多字段的复杂数据,可能在内存方面会有较大的消耗,不过可以使用64位解决方案处理这个问题。
几千万条、多字段的数据的情况一般在一些业务场景中会遇到,比如计算全球消费者某个业务周期消费额时,要先获得主数据库表中的会员消费记录快照,并将快照储存至临时表中,然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中,而是来自多个国家的多台服务器,这样我们就必须借助内存或外存设备中转这些数据,然后清洗、合并、检测,最后导入专用表供计算程序使用。
基本语句:
using (System.Data.SqlClient.SqlBulkCopy sqlBC
= new System.Data.SqlClient.SqlBulkCopy(conn))
{ sqlBC.BatchSize = 100000; sqlBC.BulkCopyTimeout
= 60; sqlBC.DestinationTableName = "dbo.TableB";
sqlBC.ColumnMappings.Add("valueA", "Value1");
sqlBC.WriteToServer(dt); }
说明:
BatchSize = 100000; 指示每10万条一个事务并提交
BulkCopyTimeout = 60; 指示60秒按超时处理
DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表
ColumnMappings.Add("valueA", "Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配
WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable,其中包含valueA字段。
SQL Server 2000耗时:4989
SQL Server 2008耗时:10412
方法五.在多线程中使用SqlBulkCopy类
基于方法四,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。
SQL 2000耗时:7682
SQL 2008耗时:10870
结果
几天的时间终于把这个实验给完成了,比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。
分享到:
相关推荐
#### 一、匠人手记:单片机实践与思考 《匠人手记:一个单片机工作者的实践与思考》是一本由具有多年硬件开发经验的作者编写的书籍,旨在为那些对硬件开发感兴趣的读者提供深入的学习资源。本书不仅仅是一本理论...
《匠人手记:一个单片机工作者的实践与思考》这本书是一本结合了作者实际开发与应用单片机经验、心得感悟与技术分享的专著。作者张俊以轻松诙谐的笔调,摒弃了传统技术书籍的刻板说教,力求在交流分享中与读者产生...
SwisSql Oracle to Sql Server破解手记 SwisSql Oracle to Sql Server破解手记
匠人手记:一个单片机工作者的实践与思考匠人手记【完整高清版】
《网页开发手记:HTML+CSS+JavaScript实战详解》是一本专门为初学者设计的Web前端技术教程,旨在帮助读者深入理解和掌握网页开发的核心技术。这本书的内容涵盖了HTML、CSS和JavaScript这三个网页开发的基础和核心...
《匠人手记:单片机工作者的实践与思考》是一部深入探讨单片机技术及其应用的专业书籍,它不仅提供了丰富的实践经验,还包含了作者对于这一领域的深刻思考。书中的内容涵盖了单片机的基础知识、开发流程、实际问题...
本书《匠人手记:一个单片机工作者的实践与思考2》中,作者不仅分享了他在单片机开发实践中的经验与教训,还详细探讨了多种软件滤波方法,这些方法适用于不同的应用场景,并配以实际的设计案例,帮助读者更好地理解...
本资料“网页开发手记:486个JavaScript网页特效详解”正是针对这一主题进行深入探讨的资源,包含了大量实用的JavaScript特效代码实例。 首先,我们要理解JavaScript的基本概念。JavaScript是一种解释型的、基于...
新建文本文档(数据库sql server手记).txt
Oracle DBA 手记:数据库诊断案例与性能优化实践 Oracle DBA 手记:数据库诊断案例与性能优化实践是Oracle数据库管理系统(Database Administration System)的实践指南,旨在帮助DBA(DataBase Administrator)更...
网页开发手记:HTML+CSS+JavaScript实战详解,初学看看
在《匠人手记:一个单片机工作者的实践与思考》中,作者分享了他在单片机领域的丰富经验和深入洞察。单片机,又称微控制器,是集成在一个芯片上的微型计算机系统,广泛应用于各种电子设备,从家用电器到汽车控制,...
【鸟哥笔记】运营增长实战手记小红书.pdf 是一本深入探讨运营增长策略与实践的资料,尤其针对小红书这一社交电商平台。这份报告详细分析了如何在小红书平台上进行有效的运营工作,旨在帮助读者理解并掌握增长黑客的...
本书是作者在从事单片机开发与应用的过程中,将实际经验教训和心得感悟加以总结、整理而成的工作手记。每篇手记论述一个专题,独立成篇,同时又相互关联。全书内容包含入门基础、经验技巧、设计案例及网络杂文四个...
走进云计算:Windows Azure实战手记 朱明中 水利水电出版社 《走进云计算》是为微软Windows Azure云计算平台而编写,将带来Windows Azure平台的功能以及开发的方式等各式各样的信息,帮助您了解微软的云计算平台...
应用为王 联想万全T310服务器基于SQL Server 2000试用手记 本文档主要介绍了联想万全T310服务器基于SQL Server 2000的试用手记,旨在评估服务器的性能和可靠性。本文档从服务器的选择到实际应用的测试,详细介绍了...
Oracle.DBA手记·4:数据安全警示录