`
zhaomengsen
  • 浏览: 209675 次
  • 性别: Icon_minigender_1
  • 来自: 河北
社区版块
存档分类
最新评论

oracle大数据量下的分页解决方案

阅读更多

一般用截取ID方法,还有是三层嵌套方法.

一种分页方法 :
  <%
int i=1;
int numPages=14;
String pages = request.getParameter("page") ;
int currentPage = 1;
currentPage=(pages==null)?(1):{Integer.parseInt(pages)}
sql = "select count(*) from tables";
ResultSet rs = DBLink.executeQuery(sql) ;
while(rs.next()) i = rs.getInt(1) ;
int intPageCount=1;
intPageCount=(i%numPages==0)?(i/numPages):(i/numPages+1);
int nextPage ;
int upPage;
nextPage = currentPage+1;
if (nextPage>=intPageCount) nextPage=intPageCount;
upPage = currentPage-1;
if (upPage<=1) upPage=1;
rs.close();
sql="select * from tables";
rs=DBLink.executeQuery(sql);
i=0;
while((i<numPages*(currentPage-1))&&rs.next()){i++;}
%>
//输出内容
//输出翻页连接
合计:<%=currentPage%>/<%=intPageCount%><a href="List.jsp?page=1">第一页</a><a

href="List.jsp?page=<%=upPage%>">上一页</a>
<%
for(int j=1;j<=intPageCount;j++){
if(currentPage!=j){
%>
<a href="list.jsp?page=<%=j%>">[<%=j%>]</a>
<%
}else{
out.println(j);
}
}
%>
<a href="List.jsp?page=<%=nextPage%>">下一页</a><a href="List.jsp?page=<%=intPageCount%>">最后页



</a>

-------------------------------------------------



(一)分页实现及性能

Oracle的分页查询语句基本上可以按照本文给出的格式来进行套用。



分页查询格式:

SELECT * FROM
(
SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
WHERE ROWNUM <= 40
)
WHERE RN >= 21

其中最内层的查询SELECT * FROM TABLE_NAME表示不进行翻页的原始查询语句。ROWNUM <= 40和RN >= 21控制分页查询的每页的范围。

上面给出的这个分页查询语句,在大多数情况拥有较高的效率。分页的目的就是控制输出结果集大小,将结果尽快的返回。在上面的分页查询语句中,这种考虑主要体现在WHERE ROWNUM <= 40这句上。

选择第21 到40条记录存在两种方法,一种是上面例子中展示的在查询的第二层通过ROWNUM <= 40来控制最大值,在查询的最外层控制最小值。而另一种方式是去掉查询第二层的WHERE ROWNUM <= 40语句,在查询的最外层控制分页的最小值和最大值。这是,查询语句如下:

SELECT * FROM
(
SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
)
WHERE RN BETWEEN 21 AND 40

对比这两种写法,绝大多数的情况下,第一个查询的效率比第二个高得多。

这是由于CBO 优化模式下,Oracle可以将外层的查询条件推到内层查询中,以提高内层查询的执行效率。对于第一个查询语句,第二层的查询条件WHERE ROWNUM <= 40就可以被Oracle推入到内层查询中,这样Oracle查询的结果一旦超过了ROWNUM限制条件,就终止查询将结果返回了。

而第二个查询语句,由于查询条件BETWEEN 21 AND 40是存在于查询的第三层,而Oracle无法将第三层的查询条件推到最内层(即使推到最内层也没有意义,因为最内层查询不知道RN代表什么)。因此,对 于第二个查询语句,Oracle最内层返回给中间层的是所有满足条件的数据,而中间层返回给最外层的也是所有数据。数据的过滤在最外层完成,显然这个效率 要比第一个查询低得多。

上面分析的查询不仅仅是针对单表的简单查询,对于最内层查询是复杂的多表联合查询或最内层查询包含排序的情况一样有效。

这里就不对包含排序的查询进行说明了,下一篇文章会通过例子来详细说明。下面简单讨论一下多表联合的情况。对于最常见的等值表连接查询,CBO 一般可能会采用两种连接方式NESTED LOOP和HASH JOIN(MERGE JOIN效率比HASH JOIN效率低,一般CBO不会考虑)。在这里,由于使用了分页,因此指定了一个返回的最大记录数,NESTED LOOP在返回记录数超过最大值时可以马上停止并将结果返回给中间层,而HASH JOIN必须处理完所有结果集(MERGE JOIN也是)。那么在大部分的情况下,对于分页查询选择NESTED LOOP作为查询的连接方法具有较高的效率(分页查询的时候绝大部分的情况是查询前几页的数据,越靠后面的页数访问几率越小)。

因此,如果不介意在系统中使用HINT的话,可以将分页的查询语句改写为:

SELECT /*+ FIRST_ROWS */ * FROM
(
SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
WHERE ROWNUM <= 40
)
WHERE RN >= 21

(二)Oracle Top n

SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
WHERE ROWNUM <= 40

以上是oracle 实现top n的功能

SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
WHERE ROWNUM between 2 and 100

总是返回空记录

原因:

对于rownum来说它是oracle系统顺序分配为从查询返回的行的编号,返回的第一行分配的是1,第二行是2,依此类推,这个伪字段可以用于限制查询返回的总行数,而且rownum不能以任何表的名称作为前缀。
举例说明:
例如表:student(学生)表,表结构为:
ID       char(6)      --学号
name    VARCHAR2(10)   --姓名
create table student (ID char(6), name VARCHAR2(100));
insert into sale values('200001',‘张一’);
insert into sale values('200002',‘王二’);
insert into sale values('200003',‘李三’);
insert into sale values('200004',‘赵四’);
commit;
(1) rownum 对于等于某值的查询条件
如 果希望找到学生表中第一条学生的信息,可以使用rownum=1作为条件。但是想找到学生表中第二条学生的信息,使用rownum=2结果查不到数据。因 为rownum都是从1开始,但是1以上的自然数在rownum做等于判断是时认为都是false条件,所以无法查到rownum = n(n>1的自然数)。
SQL> select rownum,id,name from student where rownum=1;(可以用在限制返回记录条数的地方,保证不出错,如:隐式游标)
SQL> select rownum,id,name from student where rownum=1;
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
         1 200001 张一
SQL> select rownum,id,name from student where rownum =2;
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
(2)rownum对于大于某值的查询条件
   如果想找到从第二行记录以后的记录,当使用rownum>2是查不出记录的,原因是由于rownum是一个总是从1开始的伪列,Oracle 认为rownum> n(n>1的自然数)这种条件依旧不成立,所以查不到记录
SQL> select rownum,id,name from student where rownum >2;
ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
那如何才能找到第二行以后的记录呀。可以使用以下的子查询方法来解决。注意子查询中的rownum必须要有别名,否则还是不会查出记录来,这是因为rownum不是某个表的列,如果不起别名的话,无法知道rownum是子查询的列还是主查询的列。
SQL>select * from(select rownum no ,id,name from student) where no>2;
        NO ID     NAME
---------- ------ ---------------------------------------------------
         3 200003 李三
         4 200004 赵四
SQL> select * from(select rownum,id,name from student)where rownum>2;
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
(3)rownum对于小于某值的查询条件
如果想找到第三条记录以前的记录,当使用rownum<3是能得到两条记录的。显然rownum对于rownum<n((n>1的自然数)的条件认为是成立的,所以可以找到记录。
SQL> select rownum,id,name from student where rownum <3;
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
        1 200001 张一
        2 200002 王二
综 上几种情况,可能有时候需要查询rownum在某区间的数据,那怎么办呀从上可以看出rownum对小于某值的查询条件是人为true的,rownum对 于大于某值的查询条件直接认为是false的,但是可以间接的让它转为认为是true的。那就必须使用子查询。例如要查询rownum在第二行到第三行之 间的数据,包括第二行和第三行数据,那么我们只能写以下语句,先让它返回小于等于三的记录行,然后在主查询中判断新的rownum的别名列大于等于二的记 录行。但是这样的操作会在大数据集中影响速度。
SQL> select * from (select rownum no,id,name from student where rownum<=3 ) where no >=2;
        NO ID     NAME
---------- ------ ---------------------------------------------------
         2 200002 王二
         3 200003 李三
(4)rownum和排序
Oracle中的rownum的是在取数据的时候产生的序号,所以想对指定排序的数据去指定的rowmun行数据就必须注意了。
SQL> select rownum ,id,name from student order by name;
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
         3 200003 李三
         2 200002 王二
         1 200001 张一
         4 200004 赵四
可以看出,rownum并不是按照name列来生成的序号。系统是按照记录插入时的顺序给记录排的号,rowid也是顺序分配的。为了解决这个问题,必须使用子查询
SQL> select rownum ,id,name from (select * from student order by name);
    ROWNUM ID     NAME
---------- ------ ---------------------------------------------------
         1 200003 李三
         2 200002 王二
         3 200001 张一
         4 200004 赵四
这样就成了按name排序,并且用rownum标出正确序号(有小到大)

--- 以上为rownum的必学处,为了更好地使用rownum打下基础。

其 实, 理解rownum的关键是Oracle 如何执行查询语句. 如果先执行笛卡尔集运算,再执行where条件限制,那么rownum就可以实现 rownum> n(n>=1)的功能. 但oralce是边执行笛卡尔集运算,边应用选择条件,所以rownum>n(n>1=)永远不成立 ( 网友评论 )

--- 自我练习, 嘿嘿 表: BOOKS

select rownum,isbn,title,price from (select * from BOOKS order by price desc);

select *
  from (select rownum ro,b.* from BOOKS b where rownum < 10)
where ro > 5;

select * from BOOKS where rownum < 10;

select *
   from (select b.*,
                rownum ro
           from BOOKS b
          where rownum < 20
        )
  where ro > 10;
 
  select *
    from (select *
            from BOOKS
            order by TITLE
         )
  where rownum > 8;
 
  select *
    from (select rownum ro,b.*
            from BOOKS b
            order by b.TITLE
         )
  where ro > 8;
 
  select *
    from (select rownum ro,f.*
            from (select *
                    from BOOKS b
                    order by b.title
                 ) f
         )
  where ro > 8 ;

分享到:
评论

相关推荐

    解决Oracle分页查询中排序与效率问题

    在Oracle数据库中进行分页查询时,经常会出现性能瓶颈,尤其是在处理大数据量的情况下。本篇文章将详细探讨如何优化Oracle分页查询中的排序与效率问题。 #### 一、理解Oracle分页查询的基本原理 在Oracle中实现...

    java web与Oracle数据的分页功能

    本项目提供的源代码正是针对这一需求,提供了在Java Web环境中利用Oracle数据库实现分页功能的解决方案。 首先,我们来理解一下分页的基本概念。分页是将数据库查询结果分成若干页展示,用户可以逐页浏览,而不是一...

    oracle 分页类文件

    Oracle数据库在处理大数据量时,分页查询是必不可少的功能,它可以有效地提高数据检索效率,减少内存占用,并提供更好的用户体验。本文件包包含了一系列用于实现Oracle数据库分页查询的类,帮助开发者解决分页问题。...

    Oracle 分页存储过程 终极版

    在Oracle数据库系统中,分页查询是常见的数据检索方式,特别是在大数据量的场景下,它能够帮助用户有效地管理和浏览结果集。"Oracle分页存储过程 终极版"旨在提供一个高效、灵活的解决方案,以应对各种分页查询的...

    oracle存储过程通用分页

    然而,需要注意的是,Oracle 12c及更高版本引入了更高级的分页方法——`FETCH NEXT`和`OFFSET`子句,它们提供了更直观和高效的分页解决方案: ```sql CREATE OR REPLACE PROCEDURE get_paged_data_12c ( p_page_no...

    mySql与oracle分页技术

    总的来说,MySQL和Oracle都提供了有效的分页解决方案,但它们的实现方式有所不同。在设计数据库查询时,需要考虑到数据量、性能和数据库系统的特性,选择最适合的分页策略。对于大型数据集,优化分页查询是非常关键...

    韩顺平Oracle版的分页查询

    Oracle数据库是世界上最流行的数据库管理系统之一,尤其在企业级应用中占据主导地位。在处理大量数据时,分页查询是提高用户...通过学习和实践,你将掌握如何构建高效、灵活的分页解决方案,为你的项目带来显著的改进。

    oracle分页存储过程千万级

    处理千万级别的数据集时,传统的分页方法可能因数据量庞大而变得低效。因此,需要设计更为高效的算法和策略来优化查询性能。 ### 设计思路 给定的存储过程示例采用了以下设计思路: 1. **动态SQL构建**:根据传入...

    oracle和mssql分页存储过程-均通用

    在数据库管理领域,分页查询是一项非常常见的操作,特别是在数据量庞大的情况下,为了提高用户体验,避免一次性加载过多数据导致性能下降或用户界面响应慢。Oracle和Microsoft SQL Server(MSSQL)作为两种主流的...

    Oracle真分页。源码

    因此,“Oracle真分页”概念应运而生,它旨在提供一种更高效、更准确的分页解决方案。 Oracle真分页通常涉及到以下关键点: 1. ** ROW_NUMBER() 函数**:Oracle 12c 引入了窗口函数 ROW_NUMBER(),这使得实现真...

    oracle 高效分页

    传统的分页方法可能会导致性能瓶颈,尤其是在数据量巨大、查询复杂度高的场景下。因此,掌握Oracle中的高效分页技术对于优化数据库性能至关重要。 ### 核心概念:ROW_NUMBER()与ROWNUM 在Oracle中,`ROW_NUMBER()`...

    MyFaces Oracle大数据表分页封装.docx

    在处理大数据量的表格展示时,分页是一个必要的优化手段,可以有效提高应用程序的性能和用户体验。Oracle数据库作为常用的关系型数据库系统,结合JavaServer Faces (JSF) 框架,可以实现高效的分页功能。`MyFaces`是...

    常用sql分页解决方案

    本资源“常用sql分页解决方案”提供了三种不同的分页方法,旨在帮助开发者更高效地实现数据检索。 一、LIMIT与OFFSET方法(MySQL) 在MySQL中,最常用的分页查询方式是使用`LIMIT`和`OFFSET`关键字。`LIMIT`用于...

    jsp数据分页源代码

    本资源提供了一种基于JSP的分页解决方案,利用`&lt;jsp:include&gt;`标签来实现,同时兼容Oracle、SQL Server和MySQL等主流数据库。下面我们将详细探讨这个知识点。 1. **JSP(JavaServer Pages)**: JSP是Java的一个子...

    关于SQL Server SQL语句查询分页数据的解决方案

    关于SQL Server SQL语句查询分页数据的解决方案 在日常工作中,我们经常需要处理大量数据,并从中获取特定页面的数据。特别是在Web应用开发中,为了提高用户体验,通常会将数据进行分页显示。针对这一需求,本文将...

    sql oracle bootstrap海量存储过程jquery分页

    同时,源码可以直接应用于项目中,这对于开发者来说是一个便捷的解决方案。 文件名称"PageTest"可能是指一个测试项目或者模块,用于演示或验证分页功能的实现。 综上所述,这个资源涉及的知识点包括Oracle数据库的...

    基于Oracle数据库海量数据的查询优化研究 (3).pdf

    Oracle数据库在处理海量数据时,查询优化是一个至关重要的议题,因为当数据量达到一定规模时,系统的响应时间和资源消耗往往成为性能瓶颈。本文主要探讨了针对Oracle数据库进行查询优化的各种策略和技术,包括合理...

    JAVA大数据分页算法

    但由于`skip()`操作的性能问题,对于大数据量分页,可以采用时间戳、自增ID等方式来优化。 7. **内存分页**:在Java应用中,如果数据已经在内存中,可以使用ArrayList或LinkedList等集合类,结合索引进行分页。例如...

    struts2.0 + hibernate + oracle 分页问题

    不过,ROWNUM在某些情况下可能不是最高效的解决方案,特别是在动态分页(即页码未知)时。Oracle还提供了其他高级特性,如游标、索引和物化视图,可以帮助优化分页查询的性能。 在实际开发中,结合Eclipse这样的...

    oracle 存储过程分页示例

    总的来说,Oracle存储过程结合ROWNUM伪列提供了灵活且高效的分页解决方案。通过这种方式,开发者可以方便地在应用程序中实现分页查询,同时保持良好的性能。在实际开发中,你可能需要根据具体的业务需求对这个示例...

Global site tag (gtag.js) - Google Analytics