jdbcTemplate.batchUpdate没有批量执行

  这两天再用jdbcTemplate.batchUpdate方法的时候遇到了一些小问题，拿出来分享一下。
  数据库使用的是mysql5.6版本。由于项目中需要一次性插入多条数据，所以使用jdbcTemplate的batchUpdate批量执行的方法,方法如下：

public void batchSave(List<Object[]> list) {
String sql = "xxxxxxxxxx";
jdbcTemplate.batchUpdate(sql, list);
}


  在使用了该方法之后发现，插入1000条数据，需要耗时几秒钟，这很明显是有问题的，按正常来讲，插入1000条数据，时间应该在几十毫秒。之后发现实际上这1000条数据并没有一次性的插入到数据库中，而是一条一条的向数据库中插入的，那效率必然很低啊。
  之后再百度上搜索了一下，好多论坛上说是使用这种方法，如下：
/***************************************************************************
  * 批量更新
  *
  * @param list
  */
public void batchUpdateLinkset(final List list) {
  String sql = "update LINK_SET set N_CONFIRM=?,TIME_STAMP=?,DOMAIN_ID=?,SIGLINKSET_NAME=? where NE_ID=?";
  jdbctemp.batchUpdate(sql, new BatchPreparedStatementSetter() {
   public int getBatchSize() {
    return list.size();    //这个方法设定更新记录数，通常List里面存放的都是我们要更新的，所以返回list.size()；
   }

   public void setValues(PreparedStatement ps, int i)
     throws SQLException {
    Linkset linkset = (Linkset) list.get(i);
    ps.setString(1, linkset.getCHINA_NAME());
    ps.setString(2, linkset.getENGLISH_NAME());
    ps.setInt(3, linkset.getN_CONFIRM());
    ps.setString(4, linkset.getTIME_STAMP());
    ps.setInt(5, linkset.getDOMAIN_ID());
    ps.setString(6, linkset.getSIGLINKSET_NAME());
    ps.setString(7, linkset.getNE_ID());
   }
  });
}

但是改成这种形式之后还是不行，也是一条一条入库的。

没办法，只能上spring的官方网站上看一下原版的api了。
果然，在api中出现了这样一句话：Will fall back to separate updates on a single Statement if the JDBC driver does not support batch updates.
大致意思就是如果JDBC驱动程序不支持批量更新，将变成单条插入。

OK，那么肯定就是jdbc驱动的配置的问题了，最后经过查找
MySql连接的url中要加rewriteBatchedStatements参数，例如
String connectionUrl="jdbc:mysql://192.168.1.100:3306/test?rewriteBatchedStatements=true";
还要保证mysql JDBC驱的版本。MySql的JDBC驱动的批量插入操作性能是很优秀的。

然后再使用jdbcTemplate.batchUpdate方法，插入1000条数据，30毫秒就OK了
 

评论

1 楼 ocaicai 2016-12-20  

我遇到的问题是：批量更新1000条数据，居然使用了13秒，在百度/必应搜索“jdbctemplate batchupdate 效率”都没有找到合适的答案，然后使用google，同样的关键字在第三条就是本博文，在db.url配置中加入"rewriteBatchedStatements=true"，效率变为毫秒级别的！多谢！

另外可以参看：http://www.cnblogs.com/chenjianjx/archive/2012/08/14/2637914.html

引用

实验记录：未打开rewriteBatchedStatements时

未打开rewriteBatchedStatements时，根据wireshark嗅探出的mysql报文可以看出，

batchDelete(10条记录)  =>  发送10次delete 请求

batchUpdate(10条记录)  =>  发送10次update 请求

batchInsert(10条记录)  =>  发送10次insert 请求



也就是说，batchXXX()的确不起作用


实验记录：打开了rewriteBatchedStatements后

打开rewriteBatchedStatements后，根据wireshark嗅探出的mysql报文可以看出



batchDelete(10条记录)  =>  发送一次请求，内容为”delete from t where id = 1; delete from t where id = 2; delete from t where id = 3; ….”

batchUpdate(10条记录)  =>  发送一次请求，内容为”update t set … where id = 1; update t set … where id = 2; update t set … where id = 3 …”

batchInsert(10条记录)  =>   发送一次请求，内容为”insert into t (…) values (…) , (…), (…)”



对delete和update，驱动所做的事就是把多条sql语句累积起来再一次性发出去；而对于insert，驱动则会把多条sql语句重写成一条风格很酷的sql语句，然后再发出去。 官方文档说，这种insert写法可以提高性能（”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”）