`
Donald_Draper
  • 浏览: 979925 次
社区版块
存档分类
最新评论

mysql 大表分页查询测试分析优化

阅读更多
索引概念:
http://blog.csdn.net/xluren/article/details/32746183
http://www.cnblogs.com/kupig/archive/2011/10/19/2217228.html
http://blog.csdn.net/longyulu/article/details/8850672
首先创建表结构
DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
  `id` int(11) NOT NULL auto_increment,
  `name` varchar(255) default NULL,
  `age` int(11) default NULL,
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

出入800万数据;
测试开始:
1.正常查询
SELECT * FROM test.`user` LIMIT 7921323,10

耗时:3.513s
2.利用id排序
SELECT * FROM test.`user` ORDER BY id LIMIT 7721323, 10; 

耗时3.408s
3.利用IN
SELECT * FROM test.`user` WHERE id IN (7921323,7921300,7921386)

耗时:0.097s,这个主要是利用了索引所以速度快
来看一下没有索引的情况
SELECT * FROM test.`user` WHERE `name` IN ('jack7999008','jack7699008','jack7599008')

耗时:3.683s
针对IN这种情况需要找出ID,对于几百万的表,想要查询出id也需要耗时,对于条件分页查询,我们可以针对条件对应的字段建立索引,找出id,然后再IN SET;
4.网上说的利用Id
SELECT * FROM test.`user` WHERE id >= (SELECT id FROM test.`user` LIMIT 7721323, 1) LIMIT 10; 

耗时:3.409s
5.BETWEEN
SELECT * FROM test.`user` WHERE  id BETWEEN 7921323 AND 7921333  and `name` LIKE '%jack%' ; 

耗时0.001s,这种情况也是利用主键索引
SELECT * FROM test.`user` WHERE `name` LIKE '%jack%' AND id BETWEEN 7921323 AND 7921333

耗时0.160s,从此可以看出条件放前,放后还是有区别的;
6.不利用索引单纯查询某一条记录
SELECT * FROM test.`user` WHERE `name` LIKE 'jack7721323'
耗时3.777s
为name字段添加索引
ALTER TABLE user ADD INDEX(name);
再执行上面查询:
耗时0.258s
show index from user; 查看user表索引
show table status from test where name='user';查看user表状态
总结:
针对ID连续的我们可以利用BETWEEN;对于ID不连续的我们可以用IN,但这是需要查询出ID集合,我们可以对所要查询的条件添加INDEX,需要注意的是:MySQL只对一下操作符才使用索引,<,<=,=,>,>=,between,in,以及某些时候的like(不以通配符%或_开头的情形),而理论上每张表里面最多可创建16个索引,不过除非是数据量真的很多,否则过多的使用索引,建立索引的字段就越多,那数据量大的时候,索引文件就会越大,这是最显著的问题,同时
,一个索引会在 update 或 insert 时增加一次 I/O,对于操作系统底层来说是非常损耗性能的,索引过多一定情况下会导致索引文件过大(指数增长),系统在寻址时查询时间增长。






分享到:
评论

相关推荐

    MySQL大数据量分页查询方法及其优化

    ### MySQL大数据量分页查询方法及其优化 在处理大规模数据集时,MySQL的分页查询是非常常见的需求之一。为了提高查询效率,减少响应时间和资源消耗,开发者需要掌握多种不同的分页查询方法及其优化技巧。本文将详细...

    MySQL百万级数据量分页查询方法及其优化建议

    在MySQL中,面对百万级数据量的分页查询,如何高效地进行操作并优化查询性能是数据库管理员和开发人员必须关注的问题。以下是一些常用的方法和优化建议: 1. **直接使用LIMIT语句**:这是最基础的分页查询方式,如`...

    MySQL百万级数据分页查询优化方案

    当面对百万级数据时,我们需要对分页查询进行优化,以避免对服务器造成过大的压力。本文将详细介绍如何优化MySQL的分页查询。 首先,我们了解下一般分页查询的基本形式。`LIMIT`子句用于限制返回的记录数量,例如`...

    大数据量多线程执行分页查询

    3. **分页查询**:分页是一种优化大数据量查询的技术,它将结果集分割成多个小块(页面),每次只返回用户请求的一部分数据。这样不仅可以减轻服务器压力,还能减少网络传输的负担,提高响应速度。 4. **C#线程**:...

    基于MySQL的数据库查询性能优化.pdf

    通过大量的实验测试,我们发现,适当的数据表索引、SQL 查询语句中的 "limit" 和 "*" 优化、id 限定分页查询和查询缓存技术可以大大提高数据库的响应速度。 结论 本文总结了数据库查询性能优化的重要性和影响...

    SSH+Mysql无刷新分页实例

    在这个"SSH+Mysql无刷新分页实例"中,我们将探讨如何利用SSH框架与MySQL数据库实现网页的无刷新分页功能,从而提高用户体验。 首先,SSH框架中的Spring负责控制层,它提供依赖注入(Dependency Injection,DI)和...

    spring+hibernate 分页 +mysql

    通过对这些文件的分析和学习,开发者可以更好地理解和应用Spring、Hibernate和MySQL的分页技术。 总的来说,结合Spring、Hibernate和MySQL的分页功能,不仅可以有效地管理大量数据,提高查询效率,还能提供良好的...

    easyUI+MySQL分页

    本项目“easyUI+MySQL分页”旨在教你如何利用easyUI框架与MySQL数据库相结合,实现在Web页面上展示分页数据的效果。在这个过程中,我们将涉及到前端的JavaScript库easyUI,以及后端的MySQL数据库和可能用到的Java...

    百万级数据库记录下的Mysql快速分页优化实例

    通过一系列实践案例和深入分析,我们将了解到在不同场景下优化MySQL分页查询的有效方法。 #### MySQL性能瓶颈分析 在进行大规模数据分页查询时,MySQL可能会遇到性能瓶颈。这些瓶颈主要体现在以下几个方面: 1. *...

    MySQL 亿级数据分页的优化

    MySQL查询效率的优化通常包括合理使用索引、避免全表扫描和减少数据扫描量。在这个案例中,查询语句看似已经做了相应的优化,包括关键字段和排序字段上的索引。然而,当偏移量过大时,即使有索引,MySQL也需要扫描...

    eclipse+mysql+struts实现分页显示

    9. **测试与优化**:最后,运行项目,通过浏览器测试分页功能是否正常工作,同时关注性能,可能需要调整每页显示的记录数,以平衡用户体验和服务器负载。 总结来说,通过Eclipse、MySQL和Struts,我们可以构建一个...

    mysql存储过程通用分页

    通过以上步骤,我们可以创建一个通用的MySQL存储过程来处理分页查询。这种方法的优势在于,我们只需要维护一个存储过程,就可以应用于不同的表和场景,提高了代码的复用性。 在提供的`test.sql`文件中,可能包含了...

    查询效率提升10倍!3种优化方案,帮你解决MySQL深分页问题.doc

    本文总结了三种优化方案,解决 MySQL 深分页问题,查询效率直接提升 10 倍。 知识点: 1. 深分页问题:深分页问题是指在分页查询中,当翻页过多的时候,查询效率急剧下降。 解决方案: 2. 准备数据:创建一张...

    PHP+MySQL的分页显示示例分析

    在Web开发中,分页是一种常见的用户界面设计,它允许用户逐步浏览大量数据,而不会一次性加载所有内容,从而...在实际应用中,还需要考虑如优化查询性能、添加样式美化、处理边界情况等因素,以提供更完善的分页功能。

    struts+mysql+eclipse实现分页

    综上所述,实现“Struts+MySQL+Eclipse”的分页功能涉及多个步骤,包括Struts的配置、数据库查询设计、业务逻辑编写、JSP页面展示以及错误处理和测试。这个过程中,开发者需要熟练掌握Java、SQL、Struts框架和JSP...

    jsp+servlet+mysql整合page分页插件

    在这个项目中,我们重点探讨的是如何利用Page分页插件来优化对MySQL数据库查询结果的展示,使得用户能够更方便地浏览大量数据。对于初学者来说,理解这一过程将有助于提升Web应用的用户体验。 首先,JSP是Java的一...

    mybatis插件分页测试

    在"mybatis插件分页测试"中,我们将关注以下关键知识点: 1. **插件配置**:在MyBatis的配置文件(mybatis-config.xml)中,我们需要声明我们的分页插件,指定拦截的目标方法和插件类。例如,可以使用PageHelper...

Global site tag (gtag.js) - Google Analytics