jdbc 批量插入优化

项目中有一个大数据插入的功能是通过jdbc的批处理实现的，但效率一直不理想。

最近研究了一下，做如下总结：

1) 如果id使用的是uuid，一定要保证有序。

因为通常数据库会为主键创建聚集索引。而聚集索引是用来指明数据排序规则的。所以，对于非有序的id，插入的同时会做大量的排序操作，很影响效率。

另外，我们在尝试的过程中有使用apache axis.jar 下的SimpleUUIDGen生成有序id，但该生成操作特别耗时，不推荐使用。

最后我们采取的是最简单粗暴的方法。自己写生成uuid的方法。

return new StringBuilder().append("z").append(System .currentTimeMillis()).append("-").append(System .nanoTime()).toString();

2) PreparedStatement 执行executeBatch()后，记得clearBatch()

pstmt.executeBatch();
pstmt.clearBatch();

3) 对表索引进行优化

再插入的过程中，数据库会自动维护索引，会消耗一定性能。索引是一把双刃剑，请合理使用。

 

简要记录3点，希望对后来者有帮助。

 

 

 

 

评论

2 楼 giraffeql 2014-04-03  

finallygo 写道

这样不能保证id唯一吧

嗯，这看你的项目了，如果有大量并发，会有这个问题。
如果并发访问并不多，不容易出现重复问题，毕竟是纳秒（或微秒）级别的。

1 楼 finallygo 2014-03-28  

这样不能保证id唯一吧