关于分页查询的疑惑

以前发在CSDN的一篇blog，但是没有人回复。这是我一直疑惑的问题。原文如下：
http://blog.csdn.net/catstiger/archive/2006/08/31/1148015.aspx

分页查询是经常能够遇到的问题，我们首先看看分页查询存在的理由:

方便用户：用户不可能一次察看所有数据，所以一页一页的翻看比较好。
提高性能：一次从数据库中提取所有数据会比较慢。

那么现在我来尝试反驳上述理由：

真的方便吗？我们考虑下面的情况
[list=]如果数据只有20条。
如果数据超过1000条。[/list]
第一种显然不必分页查询。奇怪的是第二种也不必，因为没有哪个用户愿意一页一页的翻到最后，如果用户查询到的数据超过了他所关心的数据范围，我认为应该让他重新输入查询条件，就像我们使用google一样。
但是作为一个友好的应用界面，我们总是希望用户可以全面的了解他的查询结果，所以有必要告诉用户：“你查到了多少数据，但是，目前只能显示前1000条，如果您希望察看所有数据，那么应该如何如何... ”
性能会提高吗？
如果数据量很小，显然性能不会有明显的提升，相反，性能会大大下降。因为数据库执行了不必要的查询和查询条件。
如果数据量很大，性能也不见得有明显提升，因为你总是要执行一个额外的count查询。当然，这要看实际情况了。
可以想像，分页查询对于性能的影响和数据量之间的关系应该是一个曲线，数据量小的时候会降低性能，数据量大的时候可能（根据不同的数据库）会提升性能。关键是通过测试，找到曲线的拐点。性能不是根据经验和感觉得到的，而是通过测试得到的
另外，如果一次全部取出数据，的确会造成空间性能的影响，但是，现在内存很便宜...
分页查询的负面影响
对于一个架构良好的web应用，将pageNo和PageSize在各个类之间传递实在是不爽，这两个数据明显属于表现层。
分页查询还会明显提高编程复杂度。
奇怪的现象：为什么没有一个大型数据库直接提供分页查询？Oracle的RowNo不是用于分页的，SQLServer的Top更不是。
结论
ExtremeTable、DisplayTag、JSF DataTable都提供了简单的分页方式，那就是在结果集合中分页。使用非常方便，而且使得逻辑清晰，大大提高了工作效率。绝大多数情况下，可以直接使用这种方式。
如果通过测试，发现上述方式影响了性能，那么考虑使用分页查询。
对于用户量很大的应用，因为内存的原因，也可以考虑分页查询。但是，我个人更推荐缓存方式：同样的查询放在一个缓存中...
采用合理的设计，屏蔽开发人员处理分页逻辑。比如，将分页逻辑和count查询放在父类，开发人员负责组合查询条件。具体看设计模式吧。
欢迎大家讨论！！！

帮你贴过来了，以后这种帖子最好附上内容。

to楼上：谢谢，本来也想贴的，但是格式没有了。

贴过来也可以编辑格式的

个人认为你的建议有一些道理，但也有不太实际的想法。
用户大多数情况下不是计算机专业人员，比如将一般用户和DBA或Programmer比较，在检索大表的数据时，DBA或Programmer多半能够准确的设定where条件，如果结果数据较多可能还会限制输出的行数或先select count(*)。
而对于用户不熟悉表结构和准确设定检索条件，则多半需要经过多次查询不断修改条件最终得出合适的检索结果。因此分页查询能够在前几次不确切的查询中减少每次的结果返回时间，至于用户是不是愿意一页一页的翻到最后，显然要看具体情况。
因此分页查询不是仅是为了提高性能还为了改善用户体验，你用google时也不会每次都能准确全部输入查询条件，总要多次尝试。
至于在各层之间传递参数，完全可以用更好的设计方法封装，以降低耦合度，论坛里已经有多次讨论，你可以参考。

如果单纯为了提高用户体验，那么使用JSF、ExtremeTable之类的tags就可以，不必从数据库中分页。如果为了提高性能而分页...,总感觉性能不会有明显提高。当然，性能还是要看测试数据。

我的意思是，开发的时候不考虑数据库层面的分页查询，而是直接利用Tags提供的在List中分页的方法。然后执行性能测试，如果经过分析，发现分页查询的确可以提高性能，则通过重构，将原来的实现改为分页查询。

不同意。
你很难预计将来的用户数和数据量
如果每个用户都导致把上万条数据加载道内存里，多少内存才够用呢？


那还能称其为架构良好的web应用吗

参考我的《分享一个通用数据库分页方案》

一个设计良好的分页查询模块可以很容易的嵌入使用不同架构的WEB程序中，我自己就在用一个从论坛上改进来的分页模块。
良好设计并不是重构的敌人，楼主应该开阔一下眼界

在一个项目中， 开始也是使用一次把数据全部找出， 然后在客户端用javascript分页。 这种情况是第一次慢，然后下一页， 上一页飞快。 如果有上万条数据的话， 这样的情况就不太合理了。 后来还是做成了一页一页的取， 我们写了一个javascript分页类，基本上改的东西很少。PageSize PageNo都是其中一个属性，点下一页的时候通过jsonRPC－java到服务器段取道那页数据就行，然后用jst填充

你如果见过一个用户的一个联系人分类下面挂了1万个联系电话，生成的js有2万多行的话，
就知道不是该不该分页的问题，而是是否预留了分页支持的接口的问题！

请在站在用户实际环境的角度上去考虑问题，不要把自己的思维局限于自己的几条或者几十条或者几百条测试环境的数据！