论坛首页 Java企业应用论坛

Hibernate实现分页查询的原理分析

浏览 126716 次
该帖已经被评为精华帖
作者 正文
   发表时间:2003-09-16  
Hibernate 可以实现分页查询,例如:
从第2万条开始取出100条记录

Query q = session.createQuery("from Cat as c");;
q.setFirstResult(20000);;
q.setMaxResults(100);;
List l = q.list();;


那么Hibernate底层如何实现分页的呢?实际上Hibernate的查询定义在net.sf.hibernate.loader.Loader这个类里面,仔细阅读该类代码,就可以把问题彻底搞清楚。

Hibernate2.0.3的Loader源代码第480行以下:

if (useLimit); sql = dialect.getLimitString(sql);;		
PreparedStatement st = session.getBatcher();.prepareQueryStatement(sql, scrollable);;



如果相应的数据库定义了限定查询记录的sql语句,那么直接使用特定数据库的sql语句。

然后来看net.sf.hibernate.dialect.MySQLDialect:

public boolean supportsLimit(); {
  return true;
}
public String getLimitString(String sql); {
  StringBuffer pagingSelect = new StringBuffer(100);;
  pagingSelect.append(sql);;
  pagingSelect.append(" limit ?, ?");;
  return pagingSelect.toString();;
}


这是MySQL的专用分页语句,再来看net.sf.hibernate.dialect.Oracle9Dialect:

public boolean supportsLimit(); {
  return true;
}

public String getLimitString(String sql); {
  StringBuffer pagingSelect = new StringBuffer(100);;
  pagingSelect.append("select * from ( select row_.*, rownum rownum_ from ( ");;
  pagingSelect.append(sql);;
  pagingSelect.append(" ); row_ where rownum <= ?); where rownum_ > ?");;
  return pagingSelect.toString();;
}


Oracle采用嵌套3层的查询语句结合rownum来实现分页,这在Oracle上是最快的方式,如果只是一层或者两层的查询语句的rownum不能支持order by。

除此之外,Interbase,PostgreSQL,HSQL也支持分页的sql语句,在相应的Dialect里面,大家自行参考。

如果数据库不支持分页的SQL语句,那么根据在配置文件里面
#hibernate.jdbc.use_scrollable_resultset true
默认是true,如果你不指定为false,那么Hibernate会使用JDBC2.0的scrollable result来实现分页,看Loader第430行以下:


if ( session.getFactory();.useScrollableResultSets(); ); {
  // we can go straight to the first required row
  rs.absolute(firstRow);;
}
else {
  // we need to step through the rows one row at a time (slow);
  for ( int m=0; m<firstRow; m++ ); rs.next();;
}



如果支持scrollable result,使用ResultSet的absolute方法直接移到查询起点,如果不支持的话,使用循环语句,rs.next一点点的移过去。

可见使用Hibernate,在进行查询分页的操作上,是具有非常大的灵活性,Hibernate会首先尝试用特定数据库的分页sql,如果没用,再尝试Scrollable,如果不行,最后采用rset.next()移动的办法。

在查询分页代码中使用Hibernate的一大好处是,既兼顾了查询分页的性能,同时又保证了代码在不同的数据库之间的可移植性。
   发表时间:2007-01-13  
首先,我要感谢你提供的帖子。
这里我有一个问题,就是hibernate3以后的版本,对于不同的数据库是如何实现的,我感觉说的不是很清楚。
能不能在详细的说一下。
0 请登录后投票
   发表时间:2007-01-13  
robbin 写道


再来看net.sf.hibernate.dialect.Oracle9Dialect:

public boolean supportsLimit() {
  return true;
}

public String getLimitString(String sql) {
  StringBuffer pagingSelect = new StringBuffer(100);
  pagingSelect.append("select * from ( select row_.*, rownum rownum_ from ( ");
  pagingSelect.append(sql);
  pagingSelect.append(" ) row_ where rownum <= ?) where rownum_ > ?");
  return pagingSelect.toString();
}


Oracle采用嵌套3层的查询语句结合rownum来实现分页,这在Oracle上是最快的方式,如果只是一层或者两层的查询语句的rownum不能支持order by。


Oracle的这种实现如果有order by子句依然有问题。某些时候会导致翻页有记录重复或者遗失,很难找到规律,非常奇怪。

后来去google了一下,有Oracle专家说需要order by的时候必须带上unique的字段,例如主键或者rowid等。

另外,在使用这种采用rownum的查询时,尽管速度相对比较快,但是后台Oracle在内存和CPU的消耗上会增加许多。其实除非结果集非常庞大(几万以上),并且必须翻倒很后面(skip的记录很多),采用ResultSet.absolute方法性能还可以,并没有数量级上的差别。
0 请登录后投票
   发表时间:2007-09-03  
在那里可以找到hibernate的分页的详细的代码啊
 
0 请登录后投票
   发表时间:2007-09-04  
robbin 写道

在查询分页代码中使用Hibernate的一大好处是,既兼顾了查询分页的性能,同时又保证了代码在不同的数据库之间的可移植性。


能稍详细的介绍一些就更好了....
具体怎么体现的可移植 ?
0 请登录后投票
   发表时间:2007-09-04  
joachimz 写道

Oracle的这种实现如果有order by子句依然有问题。某些时候会导致翻页有记录重复或者遗失,很难找到规律,非常奇怪。

后来去google了一下,有Oracle专家说需要order by的时候必须带上unique的字段,例如主键或者rowid等。

另外,在使用这种采用rownum的查询时,尽管速度相对比较快,但是后台Oracle在内存和CPU的消耗上会增加许多。其实除非结果集非常庞大(几万以上),并且必须翻倒很后面(skip的记录很多),采用ResultSet.absolute方法性能还可以,并没有数量级上的差别。

这种情况经常出现,包括其他数据库,原因就是排序中出现相同关键字如何处理
一个是每次分页都重新查询,也就需要重新排序
另一个是数据库是否执行稳定排序

首先表有个默认顺序,比如主键递增,对order by:
如果数据库采取稳定排序,排序关键字相同时,保持默认顺序(主键递增),那么反复查询反复排序得到的结果都是一样的
如果采用不稳定排序,关键字相同时,顺序不确定,那么反复排序时结果就可能不一样,于是就会出现看似重复、遗漏的情况

办法很简单,就是排序时加上一个主键,对于各个不稳定排序的数据库系统大都应该这样做
2 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics