Spring+ibatis批量存储心得 2

1、上回的心得中我强调了startBatch()的批处理的作用，但是其中的使用是个错误用法，并没有发挥出startBatch()的实力，对此给与观众的误导我将在此表示到欠，并贴出正确的用法public class LocalDaoImpl extends SqlMapClientDaoSupport implements LocalDao {

    public void insertBuNaTaxBatLst(final PaginatedList list)
    {
         getSqlMapClientTemplate().execute(new SqlMapClientCallback() {
                public Object doInSqlMapClient(SqlMapExecutor executor)
                        throws SQLException {
                    executor.startBatch();
                    // do some iBatis operations here
                    for(int i=0,count=list.size();i<count;i++)
                    {    
                        executor.insert("insertBuNaTaxBatLst", list.get(i));
                        if (i % 50 == 0) {
                            System.out.println("----" + i);//没有意义只为测试
                        }
                    }
                    executor.executeBatch();
                    return null;
                }
            });
    }

}

 这样才能利用上startBatch()威力。

2、注意ibatis的事物默认情况下是自动提交的，如果发现速度上有问题可以留意一下，ibatis只有在显示的声明事物管理的情况下才自动将事物管理改为不自动方式。
3、还是startBatch()，据我测试分析这个鬼东西只有在executeBatch()，才把所有的语句提交到数据库，在提交之前缓存中保留了大量的sql语句和数据对象，很有可能out of memony，对此要留意，可以在大量数据要做插入时，分批用Batch，如：有40000条数据可将其分为4个Batch块，让后将这4个Batch用一个事物提交以保证数据完整性。
注：最近在做数据抽取项目，愿与大家沟通心得

 

  到一个这东西都写到3了，针对上回说到30000条数据的批量插入工作。30000条数据的批量插入在一个事务里处理固然是快，但是这只是测试环境，30000条数据在数据库的缓存里必然对数数据库的缓存和锁数量都是一个大的挑战，固在新的程序中我们使用了分批事务提交的方式，这样为了保持数据的正确行就只能人为控制数据库中已被插入的数据是否delete掉。另外，使用Batch块提交会引发一个问题就是，如果batch块中发生了异常，我们得不到异常数据的行号即任何信息，所以只能是鱼和熊掌不可兼得（我已关注过insert方法中返回pk的方法了，但好像在batch中他反回不了出错的行号，也许是我没有找到方法，如有人有好方法请共享一下，在这里表示感谢），大家酌情考虑吧，只能到到自己需要的平衡点了。
      建议：如果对数据的准确性毋庸置疑的话就是用batch处理。如果不能确定准确性的话，如果对那条数据出错无所谓的话就也可以用batch，但是非要返回出错行号的话就不要用batch了，直接在外面套用一个事务，然后try catch一下，处理一下行号。