`
月影无痕
  • 浏览: 1008842 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

大数据量分页(海量数据分页)的高效实现

 
阅读更多

 

海量数据分页,已经无法使用数据库自带的分页机制,比如MySQL Limit ,这会导致严重的性能问题, 经过生产环境大数据量千万级数据量分页实现的 的总结,目前为止我 所使用 的大数据量分页机制 两条:

 

1. 如果表中存在 连续 的数字列并 索引,那么通过页码即可计算出此字段的范围,直接作范围查询即可:

start = (page-1)*pagesize

end = page*pagesize

select * from table where id >start and id <=end

 

2.  对大量数据旧的分页数据,实际上是固定的,变化的仅仅是前面数页。那么将旧数据导出成一个特殊表,直接以页码为索引列,即可快速分页。同时因为新数据不断填充到前面页,故内部页码使用倒序(即超旧的数据,其在数据库中的页码越小,越新的数据其页码不断增长)

 

成功案例:某健康社区门户问答功能的列表页,目前大约共 3000 万主题帖,每页显示 30 条记录,这样大约是 100 万页。将每页要显示的数据作成一个字段,页码 及科室两个字段作 主索引, 因为业务要求要按科室及页码列出主题,同时科室分类存在层次关系,属性子科室的主题,也需要显示在父科室列表中,这样列表的总记录数实际上是超过 3000万的,冗余度大约是 2.5 ,即有 7500 万条记录,每页显示 30 ,即总共大约有 250 万页。现在将数据表重新进行设计,每页要显示的数据,作为一条记录,这样此表仅仅就只有 250 万条记录,也就相当于 250 万条记录的数据表,可胜任 7500 万主题的分页需要。表结构大致如下:
page #当前记录的页码

classid #科室 id

data #当前页要显示的数据  原始主题记录 json 化或 php 序列化后的字符串

 

但此方案的问题就是数据更新及删除的同步问题。 建议是较新数据周期性(如每 4小时 )地重新整理,旧数据可使用较慢的周期(如每天)速度处理。同时删除帖子时应该先删除帖子内容,再 使用异步队列机制处理数据的同步和更新。 虽然带来维护上的麻烦,但有效地处理了大数据量分页显示的问题

 

列表页及帖子页,全部使用伪静态方式提供访问, 最长的内科列表页,已经达到了 30万页。

数据的存储使用三台Dell R610 机器存储,每次对列表页或帖子页的访问,均需要从 MySQL 查询。目前已经胜任每日约 9 00万次访问量。如果有任何疑惑,请联系 zhangxugg@163.com 如果你有更好的办法,欢迎一起探讨。

1
0
分享到:
评论
5 楼 月影无痕 2013-04-08  
babaoqi 写道


这种方式查询效率很高但如果删除某个问题时,当前page的问题数量就小于 pagesize


这个问题是存在的,但需要作特殊处理

越旧的数据,其页码是越小的,但前台显示则相反,需要程序中作页码反转

比如有30万页,前台page=1, 则在查询数据库时,需要处理成page=30万
前台page=2 查询时实际为page=29万

这样的好处是,新的数据不断填充,并使数据库内部的page不断增长,旧的数据其页码就固定死了。
4 楼 月影无痕 2013-04-08  
linyunxue 写道
删除一条数据后,所有分页数据要重新更新,给服务器带来的消耗更大,不可取吧!


其实,一般来说,越旧的数据,被删除的概率会越小,新数据被删除的概率就大很多

不能使用一刀切的做法,这里就需要将新旧数据区别对待

删除一条新数据,不需要将全部列表页整理一次,比如
最新的1万条数据,每5分钟整理一次
最新的5万条数据,每2小时整理一次
最新的50万,每半天整理一次

最老的数据,每周整理一次即可

依次类推即可

如果删除一条新数据,就没必要把所有老列表全整理一次了
3 楼 linyunxue 2013-04-08  
删除一条数据后,所有分页数据要重新更新,给服务器带来的消耗更大,不可取吧!
2 楼 babaoqi 2012-09-13  
如果问题是按照最后更新时间排序,我说的方式就不适合了,刚才没仔细看清需求,不好意思
1 楼 babaoqi 2012-09-13  
如果查询只会通过 科室,ID查询,由于科室数量是有限的,每个科室建立一张问题表,
问题表的主键是自增ID,并且按照主键进行范围分区

查询某页问题时
算出start = (page-1)*pagesize
select * from table where id >start limit pagesize;
不要使用end条件比较,主键本身有序,不需要做额外的排序操作,找到start的位置后顺序读取pagesize行,效率还是很快的

缺点
不适合查所有问题


疑问:
可胜任 7500 万主题的分页需要。表结构大致如下:
page #当前记录的页码
classid #科室 id
data #当前页要显示的数据  原始主题记录 json 化或 php 序列化后的字符串

这种方式查询效率很高但如果删除某个问题时,当前page的问题数量就小于 pagesize

相关推荐

    Java海量数据分页Bean

    Java海量数据分页Bean, 适用于Oracle(适当修改,适用于任何数据库).功能描述:传入到达页码(具有容错性)、每页记录数、Select查询语句,返回该页所有的记录(整页是List集合,每条记录是一个 HashMap)、总行数、总...

    海量数据高性能分页新法

    - 另外,当数据量极大时,连续查询可能会导致性能问题。 2. **使用TOP语句分页**: - 该方法适用于某些特定场景,比如查询最新记录。 - 但对于大规模数据的分页查询来说,性能较低,尤其是在需要跳过大量数据时...

    实现小数据量和海量数据的通用分页显示存储过程

    实现小数据量和海量数据的通用分页显示存储过程

    sqlserver海量数据TOP分页

    传统的分页方式可能会导致性能瓶颈,特别是在数据量极大的情况下。本文将深入探讨如何使用SQL Server中的`TOP`语句来实现高效的数据分页,同时结合JDBC和Servlet技术进行数据的后台处理和前端展示。 首先,`TOP`...

    海量数据分页解决方案_demo

    2. **高效查询**:通过使用索引、子查询或者JOIN操作,优化查询语句,确保即使在大数据量下也能快速返回结果。 3. **游标处理**:存储过程可能使用游标(cursor)来逐条处理数据,特别是对于复杂的数据操作,游标能...

    实现千万级数据的分页显示

    这些应用场景中,如果数据量过大而没有合适的分页机制,将会对数据库造成巨大压力,同时也会严重影响用户的访问体验。因此,开发一种能够高效处理海量数据的分页显示技术变得尤为重要。 #### 二、关键技术点解析 ...

    海量数据库查询优化及分页算法方案

    本文以“海量数据库查询优化及分页算法方案”为主题,结合具体的MS SQL Server数据库实例,探讨了如何高效地从海量数据中进行查询以及实现数据分页。 首先,针对海量数据查询,优化策略主要集中在以下几个方面: 1...

    海量数据分页sql server经典

    ### 海量数据分页在SQL Server中的实现与优化 #### 概述 在Web应用程序开发中,分页浏览是一项非常重要的功能。特别是在处理大量数据时,如何高效地实现分页变得尤为关键。传统的ADO记录集分页法因其内存占用高、...

    数据海量分页

    "数据海量分页"就是一种有效的解决策略,它允许用户逐步加载和查看大规模数据集,而不是一次性加载所有数据,从而避免了性能瓶颈和用户体验的下降。 在数据库系统中,分页是通过SQL查询实现的,通常结合`LIMIT`和`...

    海量数据分页

    本篇文章将深入探讨如何在ASP.NET环境中,利用Pager控件和ObjectDataSource来实现海量数据的分页。 首先,我们来看ASP.NET中的Pager控件。Pager控件是ASP.NET AJAX Control Toolkit的一部分,它为GridView、...

    海量(大量)数据GridView显示高效率分页实现方法

    然而,当需要在一个GridView控件中展示这些数据时,直接从数据库中加载全部数据可能会导致性能问题,特别是在数据量非常大的情况下。这是因为每次请求都会涉及大量的数据传输和处理,从而增加了服务器的负担,降低了...

    SQL分页读取海量数据存储过程

    综上所述,SQL分页读取海量数据存储过程是一种高效的数据检索策略,通过合理的设计和优化,可以有效地处理大数据量的查询,提高用户体验,同时降低系统负担。在实际应用中,开发者应根据数据库类型和具体需求选择...

    sybase海量数据分页瞬间完成2.0

    这种方式适用于数据量较小的情况,但如果数据量大,会导致额外的内存开销和性能下降。 综上所述,"sybase海量数据分页瞬间完成2.0"的改进不仅涉及数据库连接管理,还关注了查询优化和缓存策略。通过上述方法,...

    Repeater海量数据分页

    在.NET开发中,Repeater控件是一个...通过以上步骤,我们可以实现Repeater控件在处理海量数据时的高效分页。这不仅提高了用户体验,也确保了系统的稳定运行。在实际项目中,应根据具体需求和场景选择最适合的分页策略。

    千万级数据分页查询存储过程SQLServer

    在SQL Server中,面对千万级别的大数据量,进行有效的分页查询是数据库性能优化的重要环节。存储过程在这种场景下显得尤为重要,因为它们可以提高查询效率,减少网络传输,并且便于管理和重用代码。本文将深入探讨...

    海量数据库ASP完美分页代码

    当数据库中存储的数据量过大时,一次性加载所有数据到网页上不仅会消耗大量服务器资源,也会导致用户界面响应变慢。为了解决这个问题,分页技术应运而生。"海量数据库ASP完美分页代码"提供了一种解决方案,它能有效...

    java\JSP\海量数据分页效率

    - **分页查询**: 当数据量过大时,一次性加载所有数据到内存是不切实际的,分页查询能有效减少内存消耗。通常使用`LIMIT`和`OFFSET`(MySQL)或`ROW_NUMBER()`(SQL Server)等SQL语句实现分页。 2. **数据库索引*...

    海量数据如何做分页处理-方案公布

    - **分批处理**: 将大数据量拆分成若干小批次进行处理,每批处理完毕后再进行合并,有效降低单次处理的压力。 - **临时表与中间表**: 在数据处理过程中,合理使用临时表和中间表,可以将大表转化为小表,便于管理和...

    分页工具类分页工具类

    通过合理设计和使用分页工具类,开发者能够更有效地处理大数据量的场景,提高应用的响应速度和用户体验。同时,对于不同数据库系统的支持,使得分页工具类具有更好的通用性和可扩展性。在实际项目中,可以根据具体...

Global site tag (gtag.js) - Google Analytics