复习 - Hibernate大数据量处理的简单总结

复习 - Hibernate大数据量处理的简单总结

 

对于Hibernate大数据量的处理，我也有点体会，之前的一个集成项目数据量很大，最初用Java(Hiberante)去处理，性能不尽人意，即使使用纯JDBC去操作，效果仍不佳，其实当时的需求是表之间大数据的转换复制处理，所以使用Java进行处理这个方向就不太对，直接使用PLSQL才是最快捷的方式，这样就不必将数据加载到内存，经过处理再写入数据库。但是对于小数据量的处理，使用Hibernate是个很好的方式，毕竟使用Java进行一些逻辑的操作和封装，比使用plsq更直观，更方便。

 

这里也总结一下Hibernate对于大数据量处理的一些方法，根据数据需不需要加载到内存中可以分成，需要注意的是实际的项目开发中可能没有这么简单的逻辑，需要自己去斟酌研究，选择一个合适的方式啦

 

1.  数据不在内存中 ----------------------- 直接用sql或hql进行处理.

这种情况不需要将数据加载到内存，也就是不需要涉及到持久化环境，那当然最好，直接用sql或者hql去进行处理咯. 

通常是一些直接的对db进行批量操作的动作，不需要对相关的数据进行处理. 

 

2.  要操作的数据位于内存中 

(1) 首先，如果是批量的插入. -------------- 可以定期使用session.flush(), session.clear()进行处理

比如，在插入了1000条之后，就进行手动的flush和clear

如:

 

package com.yxy.test;

import java.util.Date;

import org.hibernate.Session;
import org.hibernate.SessionFactory;

import com.yxy.bean.Student;

public class HibernateBatchTest {
	
	public static void main(String[] args){
		
		SessionFactory sessionFactory = HibernateUtils.getSessionFactory();
		Session session = sessionFactory.openSession();
		session.getTransaction().begin();
		
		for(int i=0; i<100000; i++){
			Student s = new Student();
			s.setName("student"+i);
			s.setRegisterDate(new Date(System.currentTimeMillis()));
			s.setSex("Female");
			if(i%1000 == 0){
				session.flush();
				session.clear();
			}
		}
		
		session.getTransaction().commit();
		session.close();
	}
}

 

 

(2) 如果是批量的更新，可以使用类似于游标的功能，在游标滚动到一定数量的记录时手动的进行flush和clear

需要用到的是ScrollableResults这个类，例子如下:

 

ScrollableResults cursor = session.createQuery("from Student").scroll();
		
int counter = 0;
while(cursor.next()){
	Student s = (Student)cursor.get(0);
	s.setName("student cursor");
	if(counter++ % 1000 == 0){
		session.flush();
		session.clear();
	}
}

 

 

最后还有一个StatelessSession的类，它和Session的区别就是它不会考虑持久化环境的，即忽略一级缓存，忽略脏数据检查等等. 这样可以节省一定开销，但是我没有在实际中用过这个方法。