`
lusanxiong
  • 浏览: 20171 次
社区版块
存档分类
最新评论

如何提高千万条数据分页查询效率

阅读更多

表my_resume数据1000W条
表v_getAllUserLabels数据100条

SQL语句如下:
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;

WITH OrderedResults AS
( SELECT R.MyUserID,R.Pername,R.Sex,R.Birthday,workedcomnumber,workedyear,workedmonth, R.Hometown,R.Location,R.updateDate,R.photoflag,[PhotoName], R.selfdescription,R.ResumeStatus,R.checkflag, isnull(R.joblocation1,'') as joblocation1,isnull(R.joblocation2,'') as joblocation2,isnull(R.joblocation3,'') as joblocation3, R.JobFunction1,R.JobFunction2,R.JobFunction3, isnull(R.JobSeeking1,'') as JobSeeking1,isnull(R.JobSeeking2,'') as JobSeeking2,isnull(R.JobSeeking3,'') as JobSeeking3, [dbo].[F_GetMyWorkExp](R.MyUserID) as workExp, [dbo].[F_GetMyEducation](R.MyUserID) as schools, ROW_NUMBER() OVER (order by ResID) as RowNumber
FROM wuerbajob.dbo.My_Resume R
WHERE 1=1  and checkflag=2
and (ResumeStatus=0 or ResumeStatus=2)
and R.updatedate between '2002-01-01 00:00' and  '2012-08-28 17:02' )

select * from OrderedResults orderR left outer join weibo.dbo.v_getAllUserLabels userLabel on orderR.myuserid=userLabel.userid where  orderR.RowNumber between 1 and 10000

测试结果:
单线程环境下 花费时间3分钟,去掉left outer join weibo.dbo.v_getAllUserLabels,效率差不多

已做如下操作:
表my_resume 已根据resID分为10个分区表
resID为索引



如何才能提高该语句查询速度?因为要分批一次把1000W条数据查询完.






分享到:
评论

相关推荐

    千万级数据分页查询存储过程SQLServer

    总的来说,利用SQL Server的存储过程进行千万级数据分页查询,结合合理的索引策略和优化技巧,能够有效提升查询性能,降低系统负载,为用户提供流畅的浏览体验。请参考“分页.txt”和“使用方法.txt”文件,了解更多...

    实现千万级数据的分页显示

    本节将从以下几个方面详细阐述实现千万级数据分页的关键技术点: 1. **SQL查询优化**:通过优化SQL语句来提高查询效率。 2. **动态生成SQL**:根据不同的参数动态生成SQL语句,实现灵活的分页功能。 3. **存储过程...

    Oracle 10g数据库海量数据分页查询优化.pdf

    在 Oracle 10g 数据库中,数据库优化策略是提高海量数据分页查询效率的关键。通过调整数据库服务器端的内存结构,数据库可以自动、动态地调整服务器实例中的内存结构,以满足海量数据的查询需求。此外,数据库优化...

    ORACLE分页查询效率

    因此,为了提高用户体验并降低服务器负担,通常采用分页查询的方式,每次只获取部分数据展示给用户。 - **应用场景**:例如,在电商网站的搜索结果页、社交媒体的时间线展示等场景中,都需要用到分页查询技术。 ###...

    大数据量时提高分页的效率

    本文主要讨论如何在大数据量下提高分页的效率,重点关注自定义分页的方法。 默认分页是一种简单易用的方式,只需在Web控制台启用分页选项即可。然而,这种方式并不适用于大数据量,因为它每次加载时都会从数据库中...

    千万数量级分页存储过程,可支持多表查询,任意排序

    - **并行处理**:利用多线程或多进程技术提高数据处理的速度。 ### 五、总结 本文详细介绍了如何设计一个能够支持千万数量级数据处理的分页存储过程,包括了多表查询的支持、任意排序功能的实现以及高效的数据获取...

    winform高效率的分页查询

    本话题聚焦于“winform高效率的分页查询”,我们将探讨如何在VS2013环境下,结合SQL Server 2008数据库,实现高效的数据分页加载到`DataGridView`中。 首先,理解分页查询的原理至关重要。在大数据量的情况下,一次...

    解决Oracle分页查询中排序与效率问题

    ### 解决Oracle分页查询中排序与...- 考虑使用高级技术如分区等来进一步提高大型数据集的查询效率。 通过以上措施的应用,可以有效地解决Oracle分页查询中出现的各种性能瓶颈,从而提升系统的整体响应速度和用户体验。

    完美解决MybatisPlus插件分页查询不起作用总是查询全部数据问题

    问题在于,当你在使用MybatisPlus进行分页查询时,如果未正确配置PaginationInterceptor,分页参数将无法生效,你会观察到所有的数据都被查询出来。要解决这个问题,你需要在你的项目配置中添加...

    千万级数据分页存储过程

    本文将深入探讨如何设计和实现一个用于处理千万级数据分页的存储过程,并基于提供的"存储过程分页.sql"文件进行解析。 首先,我们需要理解分页的基本概念。分页是将大量数据分成小块(页)进行显示,以避免一次性...

    SQLite 查询所有 分页查询 查询个数

    在处理大量数据时,为了提高效率并避免一次性加载所有数据导致性能下降,通常会采用分页查询的方式来获取数据。下面我们将详细探讨SQLite中的查询所有、分页查询以及查询个数的相关知识点。 1. 查询所有数据: 在...

    千万级分页存储过程 实现对表的数据分页 速度非常快

    在IT领域,尤其是在数据库管理与优化方面,千万级数据分页技术是处理大数据量时不可或缺的一项技能。本文将深入解析“千万级分页存储过程实现对表的数据分页速度非常快”的核心知识点,包括其原理、实现方法以及SQL ...

    java多线程分页查询

    分页查询是指在查询数据时,将数据分成多个页面展示,而不是一次性返回所有数据。这种方式能够有效地减少单次查询的数据量,从而提高查询速度和用户体验。通常分页查询涉及到的关键参数包括:当前页码、每页显示记录...

    java\JSP\海量数据分页效率

    本项目聚焦于“海量数据分页效率”,通过一个屏幕录像程序展示了如何高效地处理约3万条数据的分页问题。下面将详细讨论相关知识点。 1. **数据库查询优化** - **分页查询**: 当数据量过大时,一次性加载所有数据到...

    MySQL百万级数据量分页查询方法及其优化建议

    2. **建立主键或唯一索引**:通过为需要分页的字段建立主键或唯一索引,可以提高查询效率。例如,可以使用`SELECT * FROM table WHERE id_pk > (pageNum*10) LIMIT M`。这种方法适用于数据量较大的情况,因为索引...

    Android开发之数据库的分页查询代码

    对于频繁访问的数据,可以考虑使用内存缓存或LruCache,提高数据加载速度。 3. **避免全表扫描** 尽量避免在WHERE条件中使用效率低的查询,如%通配符,这会导致全表扫描,影响性能。 总结,Android数据库的分页...

    实现千万级数据分页的存储过程

    ### 实现千万级数据分页的存储过程 #### 背景与意义 在数据库管理中,处理大量数据时,如何高效地进行分页显示是一个常见的挑战。传统的SQL查询方式在面对海量数据时可能会出现性能瓶颈,导致响应时间过长。因此,...

    AD域分页查询全部域用户数据

    因此,"AD域分页查询全部域用户数据"是一种优化查询效率的方法,它允许管理员分批获取用户信息,而不是一次性加载。 首先,我们需要理解AD域分页查询的工作原理。在Java中,我们可以使用JNDI(Java Naming and ...

    数据分页查询控件(含源码与Demo)

    数据分页查询是数据库操作中的常见需求,尤其是在大型应用程序中,为了提高用户界面的响应速度和用户体验,通常会采用分页展示大量数据。标题提到的“数据分页查询控件”是一个专门用于处理这种需求的组件,它允许...

    oracle分页查询并返回总记录数据存储过程

    ### Oracle 分页查询并返回总记录数据存储过程 在数据库应用开发中,...通过以上介绍,我们可以看到使用存储过程进行分页查询不仅能够有效提高查询效率,还能够简化应用程序的逻辑处理,是一种非常实用的技术方案。

Global site tag (gtag.js) - Google Analytics