JDBC操作数据库性能优化小结

最近做了一个使用JDBC操作数据库的小项目,主要实现不同数据库的数据表之间数据复制功能.以下是一些关于性能方面的总结:

 

1. 进行SQL查询,当预期的结果集较大的时候,使用PreparedStatement.setFetchSize(FETCH_SIZE)或者Statement.setFetchSize(FETCH_SIZE),可以成百倍地增加性能,我自己设置的值是525

2. 当ResultSet很大的时候,而我们需要读取保存ResultSet里面的数据的时候,起初将所有的数据保存在List或者HashMap里,在进行多线程运行的时候,导致了Java heap space out of memory. 最终将数据逐行写入到CSV文件中,避免了性能问题

3. 在进行大量数据插入数据库的操作时,应该使用批量加入,一次执行的策略,代码如下:

Connection destCon = DBHelper.getDestDBCon();
destCon.setAutoCommit(false);
PreparedStatement pstmt = destCon.prepareStatement(insertSql.toString());
while ((line = br.readLine())!= null) {
				count ++;
				items = line.split(",");
				pstmt.setString(1. items[0]);
                                pstmt.setBigDecimal(2, new BigDecimal(items[1]))
				}
				pstmt.addBatch();
				if (count%BATCH_SIZE == 0 || count == insert_size){
					pstmt.executeBatch();
					destCon.commit();
					destCon.setAutoCommit(false);		
			    }
			}

 并且一次性批量提交的数目是有限制的,还需要分批提交. 这样做就能大幅度提高插入的速度.

实测30万条数据插入只需要14秒

在进行以上优化以后,在使用多线程的情况下,每个线程操作几十万条数据进行读取,存储,插入,不存在性能问题

 

本文出自"lijingshou"博客，转载请务必保留此出处http://lijingshou.iteye.com/blog/2076882

评论

1 楼 LinApex 2014-06-07  

哟西，这个是个好东西