JDBC批处理使用起来要小心

看下面的方法

Connection conn = getConnection();
		PreparedStatement ps = null;
		try {
			conn.setAutoCommit(false);
			ps = conn.prepareStatement("insert into t_user(username, password) values(?,?)");
			Random r = new Random();
			for(int i = 0; i < 1000; i++){
				ps.setString(1, String.valueOf(r.nextInt(Integer.MAX_VALUE)));
				ps.setString(2, String.valueOf(r.nextInt()));
				ps.executeUpdate();
				[color=red]conn.commit(); //每次都提交[/color]
			}
			
		} catch (SQLException e) {
			conn.rollback();
			throw e;
		}finally{
			ps.close();
			conn.close();
		}

循环每次都开启一个事务 插入一千条数据 耗时 29078 ms

Connection conn = getConnection();
		PreparedStatement ps = null;
		try {
			conn.setAutoCommit(false);
			ps = conn.prepareStatement("insert into t_user(username, password) values(?,?)");
			Random r = new Random();
			for(int i = 0; i < 1000; i++){
				ps.setString(1, String.valueOf(r.nextInt(Integer.MAX_VALUE)));
				ps.setString(2, String.valueOf(r.nextInt()));
				ps.executeUpdate();
				
			}
			conn.commit(); //只提交一次
		} catch (SQLException e) {
			conn.rollback();
			throw e;
		}finally{
			ps.close();
			conn.close();
		}

只开启一次事务  耗时 703 ms
但这不是推荐用法，jdbc有一个批处理方法 专门处理这种批量操作的 ps.addBatch();

Connection conn = getConnection();
		PreparedStatement ps = null;
		try {
			conn.setAutoCommit(false);
			ps = conn.prepareStatement("insert into t_user(username, password) values(?,?)");
			Random r = new Random();
			for(int i = 0; i < 1000; i++){
				ps.setString(1, String.valueOf(r.nextInt(Integer.MAX_VALUE)));
				ps.setString(2, String.valueOf(r.nextInt()));
				ps.addBatch();//加入批处理
				//ps.executeUpdate();不能与addBatch（）同时用
				
			}
			int[] results = ps.executeBatch();//执行批处理
			conn.commit();
		} catch (SQLException e) {
			conn.rollback();
			throw e;
		}finally{
			ps.close();
			conn.close();
		}

批处理方式 耗时 781 ms

跟只开启一次事务效率差不多

这里要着重指出addBatch()和executeUpdate()不要同时用否则会导致记录插入两次
本来1000条记录 会插入2000条，本人在开始就翻了这个错误

第一种方法与第二 三种方法性能差别达 40倍 看来事务真是性能杀手啊 能少开尽量少开啦

评论

6 楼 黄小胖 2015-07-14  

黄小胖 写道

我批处理的时候，就不想把autocommit给关了，让preparedstatement.executePatch()的时候自动更新处理提交，要不然怕一次性把事务提交了，服务器内存受不了

你批处理的时候，如果不关闭事务，只有在你新增Preparedstatement和执行更新的时候才会和数据库发生网络通讯，觉得没必要为了这点时间就把自动提交事务给关了。但如果你要从程序的稳定性来考虑，在报错的时候能进行回滚一系列操作的时候，关了自动提交事务还是比较好的。。

5 楼 黄小胖 2015-07-14  

我批处理的时候，就不想把autocommit给关了，让preparedstatement.executePatch()的时候自动更新处理提交，要不然怕一次性把事务提交了，服务器内存受不了

4 楼 dean_deng 2012-02-14  

1楼说的事务超长很有可能就是因为插入完一笔数据后，没有及时置空PreparedStatement中的参数，造成参数累积过多，事务超长。

3 楼 dean_deng 2012-02-14  

当你插入完一笔数据后，及时置空PreparedStatement中的参数，也很重要，
ps.clearParameters()在for循环中也应该使用对性能提升也有显著影响。

2 楼 greathjt 2010-01-21  

唉，真不知道未来在哪里？

1 楼 yangwen13 2009-11-26  

但是，你还是得控制好事务的大小，如果数据量一大，就有可能发生事务超长的问题。