发疯Hibernate分页问题,性能优化!

最近写了一个Hibernate分页，之前用游标来实现得到count 总行数..用HQL语句查询!可是现在问题出现了，但数据达到海量的时候，出现比较慢,现在要进行优化:

1.不能使用游标得到count总行数!

ScrollableResults rs = query.scroll(ScrollMode.SCROLL_INSENSITIVE);
  rs.last();
  return (rs.getRowNumber() + 1);

2.不能使用select count(*) from .....这样要得到count 和list 分布操作很麻烦!查询和count 都要同步!不想两次操作...

假如更改字段都要更改...不想这么做！要公用....

3.不能使用query.list().size()

 int count=query.list().size();

除了这三种方法实现得到count,不知道还能用什么方法去实现!相信javaeye上面大师们应该会出现这样情况吧！遇到过的提提建议...

评论

16 楼 myprincejava 2008-07-26  

nihongye 写道

很简单，大数据量，不要计算总数

你问题没看明白?现在就是要分页..怎么可能不得到count...

15 楼 myprincejava 2008-07-26  

sunsong 写道

你用的什么数据库？
MS SQLSERVER：,可以从系统表中快速获取
select rows from sysindexes where id = object_id(tablename) and indid in (0,1)
Oracle：
SELECT USER_TABLES.TABLE_NAME, USER_TABLES.NUM_ROWS FROM USER_TABLES USER_TABLES.NUM_ROWS COUNT
是否实时准确你可以测试一下，
实在不行，可以用触发器来维护一下用户表的记录数。

用Oracle9i....

14 楼 nihongye 2008-07-26  

很简单，大数据量，不要计算总数

13 楼 sunsong 2008-07-26  

你用的什么数据库？
MS SQLSERVER：,可以从系统表中快速获取
select rows from sysindexes where id = object_id(tablename) and indid in (0,1)
Oracle：
SELECT USER_TABLES.TABLE_NAME, USER_TABLES.NUM_ROWS FROM USER_TABLES USER_TABLES.NUM_ROWS COUNT
是否实时准确你可以测试一下，
实在不行，可以用触发器来维护一下用户表的记录数。

12 楼 myprincejava 2008-07-26  

<div class='quote_title'>ecsun 写道</div>
<div class='quote_div'>同时,这么大的数据量,要考虑cache了,数据库的性能,是所有系统最后的性能瓶颈所在, 考虑加cache吧</div>
<p><br/>是应该考虑这个.我想问假如用select count(*) from 去得到总记录数!请问你们是传两个对象还是?我觉得一个对象是不可能实现的!传两个对象(Query).难道页面查询了值还要分两次去查?分开写麻烦...贴下代码</p>
<p> </p>
<pre name='code' class='java'>public PageBeanInfo ctblshipfindAllshipByshipCd(PageBeanInfo page,HashMap map,boolean isLike)throws Exception
{
if(map==null)
    {
    throw new RuntimeException("HashMap not can null !");
    }

String langCd=(String)map.get("langCd");
String compCd=(String)map.get("compCd");
String shipCd=(String)map.get("shipCd");
String shipName=(String)map.get("shipName");
String shipType=(String)map.get("shipType");
String like_equals= isLike ? " like:":"=:";
String hql=" from CtblShip a join a.ctblShipNames b where ";

if(shipCd!=null&amp;&amp;!"".equals(shipCd))
{
shipCd=isLike ? shipCd.replace('*','%'):shipCd;
hql+="a.id.shipCd "+ like_equals +"shipCd and ";
}
if(shipType!=null&amp;&amp;!"".equals(shipType))
{
shipType=isLike ? shipType.replace('*','%'):shipType;
hql+="a.shipType "+ like_equals +"shipType and";
}
if(shipName!=null&amp;&amp;!"".equals(shipName))
{
shipName=isLike ? shipName.replace('*','%'):shipName;
hql+=" b.shipName "+ like_equals +"shipName and";
}
hql+="(a.deld is null or a.deld='F') and a.id.compCd=:compCd and b.id.langCd=:langCd";
Query query = getSession().createQuery(hql);
   if(shipCd!=null&amp;&amp;!"".equals(shipCd))
{
query.setString("shipCd", shipCd);
}
if(shipType!=null&amp;&amp;!"".equals(shipType))                                                                 
{
query.setString("shipType", shipType);
}                                                                                                                                                                                              
if(shipName!=null&amp;&amp;!"".equals(shipName))
{
query.setString("shipName", shipName);
}
query.setString("langCd",langCd)
      .setString("compCd",compCd);
//得到count,怎样去得到从页面传进来值
int count=PageUtil.getCount(hql,query);
page=PageUtil.createPage(page.getEveryPage(),page.getCurrentPage(),count);
query.setFirstResult(page.getBeginIndex())
              .setMaxResults(page.getEveryPage());
List&lt;CtblShip&gt; list=query.list();
     page.setResultList(list);
return page;

}</pre>
<p> 下面是实现count代码</p>
<pre name='code' class='java'>public static int getCount(String hql,Query query)
{
    // Count查询
if(!hql.startsWith("from"))
        {
    hql = hql.substring(hql.toLowerCase().indexOf(" from "));
    hql = "SELECT COUNT(*) " +hql;           
        }
//这里得不到页面传进来值？难道我还要去写query.setString()....      
   query=getSession().createQuery(hql);
   int count=((Integer)query.iterate().next()).intValue();
return  count;
}</pre>
<p> </p>

11 楼 myprincejava 2008-07-26  

请问icewubin
  你里面那个 HqlUtils是写一个方法还是？我导入包没有这个?谢谢能告知....

10 楼 myprincejava 2008-07-26  

icewubin 写道

同时提醒，楼主的第一和第三种方法几乎是无法用在生产环境的，性能太差了，是绝对要避免出现的。

除非记录数在100以下，但是一般都会使用通用接口，所以即使适用小数据量也是没有太大的实际开发意义。

谢谢你的回复哈！我按照你的方法先试试!不错...不是不能用select count(*) from 只是没有找到最好方法实现!
要想实现得到count总记录数可能只有用这个....主要是公用接口!

9 楼 icewubin 2008-07-25  

同时提醒，楼主的第一和第三种方法几乎是无法用在生产环境的，性能太差了，是绝对要避免出现的。

除非记录数在100以下，但是一般都会使用通用接口，所以即使适用小数据量也是没有太大的实际开发意义。

8 楼 icewubin 2008-07-25  

只有第二种方法最现实，然后继续缓存优化，缓存时间可以缩小到5秒级的，可解决并发问题，5秒延时大多数状态下都是能够接受的。

第二种的HQL的通用实现，请参考SpringSide2的源代码。


org.springside.core.dao.HibernateGenericDao

         
/**分页查询函数，使用hql
 * @param hql String
 * @param values Object[]
 * @param pageParam 页面查询参数
 * @param alias 排序表的别名，排序的时候才起作用
 * @return Page(totalProperty, list)
 */
public Page findPage(String hql, Object[] values, PageParam pageParam, String alias) {
    Assert.hasText(hql);
    Assert.notNull(pageParam);
    if (values == null) {
        values = new Object[] {};
    }
    // Count查询
    String countQueryString = "SELECT COUNT(*) " + 
        HqlUtils.removeSelect(HqlUtils.removeOrders(hql));
    long totalCount = ((Long) getHibernateTemplate().find(countQueryString, values)
        .get(0)).longValue();
    if (StringUtils.isNotEmpty(pageParam.getSort())) {
        Assert.hasText(alias);
        hql = HqlUtils.removeOrders(hql);
        hql += " ORDER BY " + alias + "." + pageParam.getSort();
        if (pageParam.getDir().equals(PageParam.DIR_ASC)) {
            hql += " ASC";
        } else {
            hql += " DESC";
        }
    }
    // 实际查询返回分页对象
    Query query = createQuery(hql, values);
    query.setFirstResult(pageParam.getStart());
    query.setMaxResults(pageParam.getLimit());
    List list = query.list();
    return new Page((int) totalCount, list);
}

7 楼 movingboy 2008-07-25  

我觉得老老实实用select count(*) from ...就好了，但你已经说不能这样用，我就没办法了

6 楼 bottom 2008-07-25  

如果是动态查询，总数是变动的，无法缓存。

暂无办法，唯有数据库 performance tuning or query tuning。

5 楼 sunmonve 2008-07-25  

建议总数可以缓存一下

4 楼 spiritfrog 2008-07-25  

lz用的什么数据库？又是什么驱动？
看看http://www.iteye.com/topic/9881?page=1
除了count(＊），还可以用服务器端游标的，不过跟数据库驱动实现有关

3 楼 myprincejava 2008-07-25  

myprincejava 写道

movingboy 27 分钟前
是分页有性能问题，还是取总记录数有性能问题？有没有试过用Query的setFirstResult和setMaxResults方法来实现分页？
  

是取总记录数有性能问题哈？我就是用Query的setFirstResult和setMaxResults方法来实现分页？又没什么好方法来实现得到count总记录数!
   谢谢!

2 楼 myprincejava 2008-07-25  

movingboy 27 分钟前
是分页有性能问题，还是取总记录数有性能问题？有没有试过用Query的setFirstResult和setMaxResults方法来实现分页？

是取总记录数有性能问题哈？我就是用Query的setFirstResult和setMaxResults方法来实现分页？又没什么好方法来实现得到count总记录数!
  谢谢!

1 楼 movingboy 2008-07-25  

是分页有性能问题，还是取总记录数有性能问题？有没有试过用Query的setFirstResult和setMaxResults方法来实现分页？