如何向SQL插入2000万笔数据

0 0

如何向SQL插入2000万笔数据10

最近公司需要测试系统的性能，经理叫我向SQL2000里插入2000万条数据。该表ID为自增，其余字段的值都可以为空。
项目框架使用的是SSH。我用了最笨的方法for()里面INSERT了2000万个循环插入。结果插入了5个小时才完成-.-
请问大大们有好点的方法吗

问题补充：<div class="quote_title">Anddy 写道</div><div class="quote_div"><div class="quote_title">引用</div><div class="quote_div">我用了最笨的方法for()里面INSERT了2000万个循环插入</div> <br />发了很长时间的瓶颈在于java for循环时间太长，而不是数据库插入数据过慢。 <br /> <br />========================= <br />针对这个瓶颈，可以考虑<strong>使用java多线程技术。</strong> <br /> <br />缩短for循环使用的时间，从而消除瓶颈。</div> <br /> <br /> <br />请问有在SQL直接快速生成的方法吗..用函数或者是存储过程能实现吗 <br />或者HIBERNATE有方法能快速生成吗...我记得也有面试题目是类似的

问题补充：<div class="quote_title">myreligion 写道</div><div class="quote_div">用批处理，插入1000条提交1次，能快很多。</div> <br />请问如何批处理呢<img src="/images/smiles/icon_cry.gif"/> <br /> <br />是在FOR里面写1000条INSERT语句吗？

问题补充：<div class="quote_title">Anddy 写道</div><div class="quote_div"> <br />看看这个跟你一样的问题，时间太长。 <br /><a href="http://www.gbsou.com/2010/04/20/2521.html" target="_blank">http://www.gbsou.com/2010/04/20/2521.html</a> <br /> <br /><a href="http://blog.sina.com.cn/s/blog_5c4331db0100hi77.html" target="_blank">http://blog.sina.com.cn/s/blog_5c4331db0100hi77.html</a></div> <br /> <br /> <br />谢谢哈..我也觉得批处理会快点..待具体测试后再给分<img src="/images/smiles/icon_wink.gif"/>

数据库 sqlserver

2010年5月11日 12:31

lkjxshi
0
0 0 0

9个答案按时间排序按投票排序

0 0

利用数据库数据生成工具datafactory随意插入数据进行性能测试：

2010年5月27日 16:36

bitilandu
31
0 0 0

添加评论

0 0

直接写存储过程，然后调用存储过程行不行啊，你可以试试。

2010年5月12日 12:48

mayufenga1
97
0 0 1

添加评论

0 0

利用hibernate的批量插入，在插入Ｎ条数据时，进行session.flush()与session.clear()方法的调用，将插入的对象立即写入数据库并释放内存。数据条数Ｎ一般与JDBC批量设置值相同。

2010年5月11日 23:29

h521999
28
0 0 0

添加评论

0 0

在mysql里面可以一条语句插入N条记录的功能
不知在sql server里面有没有

2010年5月11日 18:21

wfdx165
31
0 0 0

添加评论

0 0

hibernate应该支持写批处理，如果不行就用JDBC batcher。或者使用guzz，guzz的写法是：

TransactionManager tm = guzzContext.getTransactionManager() ;
CompiledSQL cs = tm.getCompiledSQLBuilder().buildCompiledSQL(User.class, "delete from @@" + User.class.getName() + " where @id = :id") ;

WriteTranSession session = tm.openRWTran(false) ;
SQLBatcher batcher = session.createCompiledSQLBatcher(cs) ;

for(int loop = 0 ; loop < 100 ; loop++){
        batcher.addNewBatchParams("id", user.getId()) ;
}
        
batcher.executeUpdate() ;
session.commit() ;

具体可以看 http://code.google.com/p/guzz/wiki/TutorialTranSession?ts=1273571881&updated=TutorialTranSession 的“批量操作”。

2010年5月11日 17:55

myreligion
48
0 0 0

添加评论

0 0

看看这个跟你一样的问题，时间太长。
http://www.gbsou.com/2010/04/20/2521.html

http://blog.sina.com.cn/s/blog_5c4331db0100hi77.html

2010年5月11日 17:05

Anddy
2157
0 0 0

添加评论

0 0

用批处理，插入1000条提交1次，能快很多。

2010年5月11日 16:21

myreligion
48
0 0 0

添加评论

0 0

引用

请问有在SQL直接快速生成的方法吗..用函数或者是存储过程能实现吗

用sql来实现不了多线程插入数据的。
===================================
java中多线程的实现很简单，继承Thread类或者实现Runnable接口，重写run方法。

另外一个主类的main方法中new线程对象出来，调用线程的start方法。

========
OK 几个线程同时（表面上）进行了。

=============
不知道我的理解有误没？

2010年5月11日 14:18

Anddy
2157
0 0 0