MySQL大数据量分页查询方法及其优化

分页的2种写法

SELECT keyword FROM keyword_rank WHERE advertiserid='59' order by keyword LIMIT 2 OFFSET 1;

 比如这个SQL ，limit后面跟的是2条数据，offset后面是从第1条开始读取

SELECT keyword FROM keyword_rank WHERE advertiserid='59' order by keyword LIMIT 2 ,1;

 而这个SQL，limit后面是从第2条开始读，读取1条信息。这两个千万别搞混哦。

那么 返回第pagenumber页,每页条数为pagesize的sql语句写法为

SELECT keyword FROM keyword_rank LIMIT (pagenumber-1)*pagesize,pagesize;
SELECT keyword FROM keyword_rank LIMIT pagesize OFFSET (pagenumber-1)*pagesize;

 

分页程序原理很简单，大数据分页时，当页数越靠后的话，执行的时间会越长，这个时候我们就需要找到一种更快的查询办法来替代这种操作了

select * from product limit 10, 20   0.016秒
select * from product limit 100, 20   0.016秒
select * from product limit 1000, 20   0.047秒
select * from product limit 10000, 20   0.094秒
select * from product limit 866613, 20   37.44秒

来自雅虎的几位工程师带来了一篇”EfficientPagination Using MySQL”的报告

LIMIT 10000, 20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行，问题就在这里。

 

优化方法

SELECT * FROM your_table WHERE id> 
(SELECT id FROM your_table ORDER BY id desc LIMIT ($page-1)*$pagesize,1 ORDER BY id desc)
LIMIT $pagesize

有查询条件的情况，利用复合索引来优化或者用elasticsearch