Hql的祸

程序写的好不好,就看代码写的怎样,仔细看下面2条hql语句,有什么不同:

1.    from SinoASNDetail a where a.asn.warehouse = :warehouse and a.asn.receivedTime >= :beginTime and a.asn.receivedTime <= :endTime and a.item.id in (select b.id from SinotransItem b where b.customHouse=:itemcode)

2.    select distinct a from SinoASNDetail a ,SinotransItem item where a.item.id = item.id and a.asn.warehouse = :warehouse and item.customHouse=:itemcode and a.asn.receivedTime >= :beginTime and a.asn.receivedTime <= :endTime order by a.asn.receivedTime asc

查询出来的结果都一样,可是效率确完全不一样.小数据量或许没有什么区别,如果你让它循环几十次做这样的查询,区别就出来了.

偶今天的实践证明,用第一条hql查询的报表(因某种原因循环20余次),一分钟不到得到结果;用第二条hql查询,2分钟多点.

再来看看是谁惹的货,看见上面橙色字体没,distinct 和 order by ,就是这2个家伙了.切记切记啊.还有,不要随随便便的用笛卡尔集合进行查询,苦头有的吃.

评论

14 楼 pioneer21th 2006-11-10  

yinjia11 写道

很久没有来,不好意思.
看了大家的回复,觉得效率这个问题真的跟很多方面有关,深受启发.
另外说一下为什么我的那两个sql为什么有如此差别,我这边查询的表中基础数据量很大,但是执行查询后出来的记录并不多,也就几十条这个样子.同时在order by后面的字段也不在索引中,所以导致使用order by的效率并不好,这也是为什么最后测试得到的结果是在程序中进行排序效率较优的原因.
偶是新手,对效率优化这方面的东西所知甚少,只是在程序开发中碰到实在是慢的出奇的情况下才会考虑下做优化,但是所知不多,最后发现总是不知道从什么地方下手,看来还需要多多学习,谢谢大家的回复,获益非浅.

用子查询效率高吗?一般来说,在同等条件下,子查询没有连接查询的效率更高,楼主的第二条HQL可以把item.houseWarse=:itemCode放在where的第一个查询,再把第一条也加上order by,再看看.事实不仅于此,In语法的效率通常都不是最好的,除非你确定在子查询里返回的数据比较少时才用子查询,要不然效率比连接查询差.

13 楼 yinjia11 2006-11-10  

很久没有来,不好意思.
看了大家的回复,觉得效率这个问题真的跟很多方面有关,深受启发.
另外说一下为什么我的那两个sql为什么有如此差别,我这边查询的表中基础数据量很大,但是执行查询后出来的记录并不多,也就几十条这个样子.同时在order by后面的字段也不在索引中,所以导致使用order by的效率并不好,这也是为什么最后测试得到的结果是在程序中进行排序效率较优的原因.
偶是新手,对效率优化这方面的东西所知甚少,只是在程序开发中碰到实在是慢的出奇的情况下才会考虑下做优化,但是所知不多,最后发现总是不知道从什么地方下手,看来还需要多多学习,谢谢大家的回复,获益非浅.

12 楼 Godlikeme 2006-11-08  

ansern 写道

order by字段做了索引影响较大，以前经历过一个50-60万记录的表使用某个存储过程要2分钟以上，后来做了个时间的索引，不到2秒了。

另外感觉第2条sql，不考虑order by的话，本身就比较慢的。distinct之前把所有记录取了出来，再排除，而第1个是先排除了那些记录才取结果。

这种层次的优化数据库是会做的

11 楼 lovevirus 2006-11-05  

直接查询po也不对,如果你要真的有这么大数据量查询,那也只能投影查询,或者直接用jdbc吧,呵呵

10 楼 ansern 2006-11-05  

order by字段做了索引影响较大，以前经历过一个50-60万记录的表使用某个存储过程要2分钟以上，后来做了个时间的索引，不到2秒了。

另外感觉第2条sql，不考虑order by的话，本身就比较慢的。distinct之前把所有记录取了出来，再排除，而第1个是先排除了那些记录才取结果。

9 楼 dwangel 2006-11-04  

关键看你order by的字段是不是做了索引。
如果没做，然后整体数据集比较大的话，数据库会比较慢。
另外，你这里是关联属性的order，实际上会查很多次关联表，
性能就比不上查出来，再排序了。

8 楼 为你而来 2006-11-03  

楼主，如果取数据库中记录来进行排序呢，不会对我说几百万条记录一下子取出来放在集合啊，然后再时行排序吧

7 楼 Godlikeme 2006-11-03  

hql应该只是sql的抽象。这个例子说明不了什么问题，sql的效率和记录数量有很大关系，且数据库都在执行时探寻最优、次优的等价查询语句。再者，搂主举的例子，两条语句并不等价，order by 本身是high cost 的，而第一句却没有。还有，集合操作的问题，一般来说，如果是一次操作，可以直接在sql中做order by，还有很多情况下，是把一个很大的recordset先拿出来，在程序里面对部分数据做处理，这种情况还是在程序里面做比较快，。

6 楼 xmx0632 2006-11-03  

yinjia11 写道

这里只是想说一下效率的问题,因为测试的时候发现在hql中使用order by确实大大降低了查询的效率,当然如果你一定要在查询的时候顺便排序的话,order by也不是不可以.不过似乎查询出list以后在程序中使用Collections.sort()的效率要更快些

如果数据量大的话，每次查询都要获得全部结果集，在程序里排序，这样只能降低效率吧？

5 楼 lordhong 2006-11-03  

select distinct a from SinoASNDetail a ,SinotransItem item

你这里就有table a x item 大的matrix在内存里，还加个distinct，table的full scan很浪费的。

第一个查询只是两个table分开的scan，当然效率高点。

order by是数据库搞定的，和HQL无关。

4 楼 yinjia11 2006-11-03  

xiaoych 写道

噢？有这样的事情？

我没有具体测试和深入研究过，所以只能靠想象说话了。我认为hql的order by其实也是翻译成sql的order by，由数据库来执行的。效率低的话，应该是数据库效率低。另外，我认为数据库排序应该会比我们的应用程序排序更快……

数据库使用的是mysql,我在程序中排序确实比在hql中排序要快的.不晓得是不是因为mysql的缘故呢?

3 楼 xiaoych 2006-11-02  

噢？有这样的事情？

我没有具体测试和深入研究过，所以只能靠想象说话了。我认为hql的order by其实也是翻译成sql的order by，由数据库来执行的。效率低的话，应该是数据库效率低。另外，我认为数据库排序应该会比我们的应用程序排序更快……

2 楼 yinjia11 2006-11-02  

这里只是想说一下效率的问题,因为测试的时候发现在hql中使用order by确实大大降低了查询的效率,当然如果你一定要在查询的时候顺便排序的话,order by也不是不可以.不过似乎查询出list以后在程序中使用Collections.sort()的效率要更快些,具体使用的时候根据个人需求取舍了

1 楼 step21 2006-11-02  

如果不用order by,你怎么进行排序呢?