在Hibernate中批量处理

一：批量插入



     在项目的开发过程之中，由于项目需求，我们常常需要把大批量的数据插入到数据库。数量级有万级、十万级、百万级、甚至千万级别的。如此数量级别的数据用Hibernate做插入操作，就可能会发生异常，常见的异常是OutOfMemoryError（内存溢出异常）。



    首先，我们简单来回顾一下Hibernate插入操作的机制。Hibernate要对它内部缓存进行维护，当我们执行插入操作时，就会把要操作的对象全部放到自身的内部缓存来进行管理。



    谈到Hibernate的缓存，Hibernate有内部缓存与二级缓存之说。由于Hibernate对这两种缓存有着不同的管理机制，对于二级缓存，我们可以对它的大小进行相关配置,而对于内部缓存，Hibernate就采取了“放任自流”的态度了，对它的容量并没有限制。现在症结找到了，我们做海量数据插入的时候，生成这么多的对象就会被纳入内部缓存（内部缓存是在内存中做缓存的），这样你的系统内存就会一点一点的被蚕食，如果最后系统被挤“炸”了，也就在情理之中了。



    我们想想如何较好的处理这个问题呢？有的开发条件又必须使用Hibernate来处理，当然有的项目比较灵活，可以去寻求其他的方法。



    笔者在这里推荐两种方法：

    (1)：优化Hibernate,程序上采用分段插入及时清除缓存的方法。

    (2)：绕过Hibernate API ，直接通过 JDBC API 来做批量插入，这个方法性能上是最 好的，也是最快的。

    对于上述中的方法1，其基本是思路为：优化Hibernate，在配置文件中设置hibernate.jdbc.batch_size参数，来指定每次提交SQL的数量；程序上采用分段插入及时清除缓存的方法(Session实现了异步write-behind，它允许Hibernate显式地写操作的批处理),也就是每插入一定量的数据后及时的把它们从内部缓存中清除掉，释放占用的内存。

     设置hibernate.jdbc.batch_size参数，可参考如下配置。

<hibernate-configuration>

<session-factory>

.........

<property name=” hibernate.jdbc.batch_size”>50</property>

.........

<session-factory>

<hibernate-configuration>



    配置hibernate.jdbc.batch_size参数的原因就是尽量少读数据库，hibernate.jdbc.batch_size参数值越大，读数据库的次数越少，速度越快。从上面的配置可以看出，Hibernate是等到程序积累到了50个SQL之后再批量提交。



    笔者也在想，hibernate.jdbc.batch_size参数值也可能不是设置得越大越好，从性能角度上讲还有待商榷。这要考虑实际情况，酌情设置，一般情形设置30、50就可以满足需求了。

    程序实现方面，笔者以插入10000条数据为例子，如：

Session session=HibernateUtil.currentSession();

Transatcion tx=session.beginTransaction();

for(int i=0;i<10000;i++)

...{

Student st=new Student();

st.setName(“feifei”);

session.save(st);

if(i%50==0) //以每50个数据作为一个处理单元

...{

session.flush(); //保持与数据库数据的同步

session.clear(); //清除内部缓存的全部数据，及时释放出占用的内存

}

}

tx.commit();

.........



    在一定的数据规模下，这种做法可以把系统内存资源维持在一个相对稳定的范围。



    注意：前面提到二级缓存，笔者在这里有必要再提一下。如果启用了二级缓存，从机制上讲Hibernate为了维护二级缓存，我们在做插入、更新、删除操作时，Hibernate都会往二级缓存充入相应的数据。性能上就会有很大损失，所以笔者建议在批处理情况下禁用二级缓存。



    对于方法2，采用传统的JDBC的批处理，使用JDBC API来处理。

.......

Connection conn=DB.getConnection();

PreparedStatement stmt=conn.prepareStatement(“insert into T_STUDENT(name) values(?) ”);

for(int j=0;j<200;j++)...{

for(int i=0;i<50;i++)...{

stmt.setString(1,”feifei”);

stmt.addBatch();

}

stmt.executeBatch();

conn.commit();

}

.......



    看看上面的代码，是不是总觉得有不妥的地方？对，没发现么！这还是JDBC的传统编程，没有一点Hibernate味道。

    可以对以上的代码修改成下面这样：

Transaction tx=session.beginTransaction(); //使用Hibernate事务处理边界Connection conn=session.connection();

PrepareStatement stmt=conn.prepareStatement(“insert into T_STUDENT(name) values(?)”);

for(int j=0;j++;j<200)...{

for(int i=0;i++;j<50)

...{

stmt.setString(1,”feifei”);

}

}

stmt.executeUpdate();

tx.commit(); //使用 Hibernate事务处理边界

.........



     这样改动就很有Hibernate的味道了。笔者经过测试，采用JDBC API来做批量处理，性能上比使用Hibernate API要高将近10倍，性能上JDBC 占优这是无疑的。








二 . 批量更新 和 批量删除


批量更新是指在一个事务中更新大批量数据，批量删除是指在一个事务中删除大批量数据。以下程序直接通过Hibernate API批量更新CUSTOMERS表中年龄大于零的所有记录的AGE字段：


tx = session.beginTransaction();
Iterator customers=session.find("from Customer c where c.age>0").iterator();
while(customers.hasNext()){
Customer customer=(Customer)customers.next();
customer.setAge(customer.getAge()+1);
}

tx.commit();
session.close();


如果CUSTOMERS表中有1万条年龄大于零的记录，那么Session的find()方法会一下子加载1万个Customer对象到内存。当执行tx.commit()方法时，会清理缓存，Hibernate执行1万条更新CUSTOMERS表的update语句：

update CUSTOMERS set AGE=? …. where ID=i;
update CUSTOMERS set AGE=? …. where ID=j;
……
update CUSTOMERS set AGE=? …. where ID=k;


以上批量更新方式有两个缺点：

(1)占用大量内存，必须把1万个Customer对象先加载到内存，然后一一更新它们。
(2)执行的update语句的数目太多，每个update语句只能更新一个Customer对象，必须通过1万条update语句才能更新一万个Customer对象，频繁的访问数据库，会大大降低应用的性能。

为了迅速释放1万个Customer对象占用的内存，可以在更新每个Customer对象后，就调用Session的evict()方法立即释放它的内存：

tx = session.beginTransaction();
Iterator customers=session.find("from Customer c where c.age>0").iterator();
while(customers.hasNext()){
Customer customer=(Customer)customers.next();
customer.setAge(customer.getAge()+1);
session.flush();
session.evict(customer);
}

tx.commit();
session.close();


在以上程序中，修改了一个Customer对象的age属性后，就立即调用Session的flush()方法和evict()方法，flush()方法使Hibernate立刻根据这个Customer对象的状态变化同步更新数据库，从而立即执行相关的update语句；evict()方法用于把这个Customer对象从缓存中清除出去，从而及时释放它占用的内存。

但evict()方法只能稍微提高批量操作的性能，因为不管有没有使用evict()方法，Hibernate都必须执行1万条update语句，才能更新1万个Customer对象，这是影响批量操作性能的重要因素。假如Hibernate能直接执行如下SQL语句：

update CUSTOMERS set AGE=AGE+1 where AGE>0;


那么，以上一条update语句就能更新CUSTOMERS表中的1万条记录。但是Hibernate并没有直接提供执行这种update语句的接口。应用程序必须绕过Hibernate API，直接通过JDBC API来执行该SQL语句：

tx = session.beginTransaction();

Connection con=session.connection();
PreparedStatement stmt=con.prepareStatement("update CUSTOMERS set AGE=AGE+1 "
+"where AGE>0 ");
stmt.executeUpdate();

tx.commit();


以上程序演示了绕过Hibernate API，直接通过JDBC API访问数据库的过程。应用程序通过Session的connection()方法获得该Session使用的数据库连接，然后通过它创建PreparedStatement对象并执行SQL语句。值得注意的是，应用程序仍然通过Hibernate的Transaction接口来声明事务边界。

如果底层数据库（如Oracle）支持存储过程，也可以通过存储过程来执行批量更新。存储过程直接在数据库中运行，速度更加快。在Oracle数据库中可以定义一个名为batchUpdateCustomer()的存储过程，代码如下：

create or replace procedure batchUpdateCustomer(p_age in number) as
begin
update CUSTOMERS set AGE=AGE+1 where AGE>p_age;
end;


以上存储过程有一个参数p_age，代表客户的年龄，应用程序可按照以下方式调用存储过程：

tx = session.beginTransaction();
Connection con=session.connection();

String procedure = "{call batchUpdateCustomer(?) }";
CallableStatement cstmt = con.prepareCall(procedure);
cstmt.setInt(1,0); //把年龄参数设为0
cstmt.executeUpdate();
tx.commit();


从上面程序看出，应用程序也必须绕过Hibernate API，直接通过JDBC API来调用存储过程。

Session的各种重载形式的update()方法都一次只能更新一个对象，而delete()方法的有些重载形式允许以HQL语句作为参数，例如：

session.delete("from Customer c where c.age>0");


如果CUSTOMERS表中有1万条年龄大于零的记录，那么以上代码能删除一万条记录。但是Session的delete()方法并没有执行以下delete语句：

delete from CUSTOMERS where AGE>0;


Session的delete()方法先通过以下select语句把1万个Customer对象加载到内存中：

select * from CUSTOMERS where AGE>0;


接下来执行一万条delete语句，逐个删除Customer对象：

delete from CUSTOMERS where ID=i;
delete from CUSTOMERS where ID=j;
……
delete from CUSTOMERS where ID=k;


由此可见，直接通过Hibernate API进行批量更新和批量删除都不值得推荐。而直接通过JDBC API执行相关的SQL语句或调用相关的存储过程，是批量更新和批量删除的最佳方式，这两种方式都有以下优点：

(1)无需把数据库中的大批量数据先加载到内存中，然后逐个更新或修改它们，因此不会消耗大量内存。
(2)能在一条SQL语句中更新或删除大批量的数据。

评论

1 楼 greatghoul 2010-02-26  

这个,很受用呀,批量分段插入后再清除缓存.只要一句话就解决了