`
LilyEnjoyingLife
  • 浏览: 70584 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

转:在新浪找到的牛人总结的limit 用法

阅读更多

 

ps:自我总结:limit第二个参数是 最多取的行数 如果没有那么多行了 则默认取到最后 .

 

SELECT * FROM table  LIMIT [offset,] rows | rows OFFSET offset
 
   mysql> SELECT * FROM table LIMIT 5,10;  // 检索记录行 6-15

//为了检索从某一个偏移量到记录集的结束所有的记录行,可以指定第二个参数为 -1: 
mysql
> SELECT * FROM table LIMIT 95,-1// 检索记录行 96-last.

//如果只给定一个参数,它表示返回最大的记录行数目: 
mysql
> SELECT * FROM table LIMIT 5;     //检索前 5 个记录行

//换句话说,LIMIT n 等价于 LIMIT 0,n。
select * from table LIMIT 5,10; #返回第6-15行数据
select * from table LIMIT 5; #返回前5行
select * from table LIMIT 0,5; #返回前5行

 

1、offset比较小的时候。
select * from yanxue8_visit limit 10,10

多次运行,时间保持在0.0004-0.0005之间

Select * From yanxue8_visit Where vid >=(
Select vid From yanxue8_visit Order By vid limit 10,1
) limit 10


多次运行,时间保持在0.0005-0.0006之间,主要是0.0006
结论:偏移offset较小的时候,直接使用limit较优。这个显然是子查询的原因。


2、offset大的时候。
select * from yanxue8_visit limit 10000,10
多次运行,时间保持在0.0187左右

Select * From yanxue8_visit Where vid >=(
Select vid From yanxue8_visit Order By vid limit 10000,1
) limit 10
多次运行,时间保持在0.0061左右,只有前者的1/3。可以预计offset越大,后者越优。


性能优化:

基于MySQL5.0中limit的高性能,我对数据分页也重新有了新的认识.

1.
Select * From cyclopedia Where ID>=(
Select Max(ID) From (
 Select ID From cyclopedia Order By ID limit 90001
) As tmp
) limit 100;

2.
Select * From cyclopedia Where ID>=(
Select Max(ID) From (
 Select ID From cyclopedia Order By ID limit 90000,1
) As tmp
) limit 100;

同样是取90000条后100条记录,第1句快还是第2句快?
第1句是先取了前90001条记录,取其中最大一个ID值作为起始标识,然后利用它可以快速定位下100条记录
第2句择是仅仅取90000条记录后1条,然后取ID值作起始标识定位下100条记录
第1句执行结果.100 rows in set (0.23) sec
第2句执行结果.100 rows in set (0.19) sec

很明显第2句胜出.看来limit好像并不完全像我之前想象的那样做全表扫描返回limit offset+length条记录,这样看来limit比起MS-SQL的Top性能还是要提高不少的.

其实第2句完全可以简化成

Select * From cyclopedia Where ID>=(
Select ID From cyclopedia limit 90000,1
)limit 100;

直接利用第90000条记录的ID,不用经过Max运算,这样做理论上效率因该高一些,但在实际使用中几乎看不到效果,因为本身定位ID返回的就是1条记录,Max几乎不用运作就能得到结果,但这样写更清淅明朗,省去了画蛇那一足.

可是,既然MySQL有limit可以直接控制取出记录的位置,为什么不干脆用Select * From cyclopedia limit 90000,1呢?岂不更简洁?
这 样想就错了,试了就知道,结果是:1 row in set (8.88) sec,怎么样,够吓人的吧,让我想起了昨天在4.1中比这还有过之的"高分".Select * 最好不要随便用,要本着用什么,选什么的原则, Select的字段越多,字段数据量越大,速度就越慢. 上面2种分页方式哪种都比单写这1句强多了,虽然看起来好像查询的次数更多一些,但实际上是以较小的代价换取了高效的性能,是非常值得的.

第1种方案同样可用于MS-SQL,而且可能是最好的.因为靠主键ID来定位起始段总是最快的.

Select Top 100 * From cyclopedia Where ID>=(
Select Top 90001 Max(ID) From (
 Select ID From cyclopedia Order By ID
) As tmp
)

但不管是实现方式是存贮过程还是直接代码中,瓶颈始终在于MS-SQL的TOP总是要返回前N个记录,这种情况在数据量不大时感受不深,但如果成百上千万,效率肯定会低下的.相比之下MySQL的limit就有优势的多,执行:
Select ID From cyclopedia limit 90000
Select ID From cyclopedia limit 90000,1
的结果分别是:
90000 rows in set (0.36) sec
1 row in set (0.06) sec
而MS-SQL只能用Select Top 90000 ID From cyclopedia 执行时间是390ms,执行同样的操作时间也不及MySQL的360ms.
----------------------------------------------------------
LIMIT 思考
 
PERCONA PERFORMANCE CONFERENCE 2009上,来自雅虎的几位工程师带来了一篇”Efficient Pagination Using MySQL“的报告,有很多亮点,本文是在原文基础上的进一步延伸。
首先看一下分页的基本原理:
mysql> explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20G
***************** 1. row **************
id: 1
select_type: SIMPLE
table: message
type: index
possible_keys: NULL
key: PRIMARY
key_len: 4
ref: NULL
rows: 10020
Extra:
1 row in set (0.00 sec)
limit 10000,20的意思扫描满足条件的10020行,扔掉前面的10000行,返回最后的20行,问题就在这里,如果是limit 100000,100,需要扫描100100行,在一个高并发的应用里,每次查询需要扫描超过10W行,性能肯定大打折扣。文中还提到limit n性能是没问题的,因为只扫描n行。
文中提到一种”clue”的做法,给翻页提供一些”线索”,比如还是SELECT * FROM message ORDER BY id DESC,按id降序分页,每页20条,当前是第10页,当前页条目id最大的是9527,最小的是9500,如果我们只提供”上一页”、”下一页”这样的跳转(不提供到第N页的跳转),那么在处理”上一页”的时候SQL语句可以是:
SELECT * FROM message WHERE id > 9527 ORDER BY id ASC LIMIT 20;
处理”下一页”的时候SQL语句可以是:
SELECT * FROM message WHERE id < 9500 ORDER BY id DESC LIMIT 20;
不管翻多少页,每次查询只扫描20行。
缺点是只能提供”上一页”、”下一页”的链接形式,但是我们的产品经理非常喜欢”<上一页 1 2 3 4 5 6 7 8 9 下一页>”这样的链接方式,怎么办呢?
如果LIMIT m,n不可避免的话,要优化效率,只有尽可能的让m小一下,我们扩展前面的”clue”做法,还是SELECT * FROM message ORDER BY id DESC,按id降序分页,每页20条,当前是第10页,当前页条目id最大的是9527,最小的是9500,比如要跳到第8页,我看的SQL语句可以这样写:
SELECT * FROM message WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;
跳转到第13页:
SELECT * FROM message WHERE id < 9500 ORDER BY id DESC LIMIT 40,20;
原理还是一样,记录住当前页id的最大值和最小值,计算跳转页面和当前页相对偏移,由于页面相近,这个偏移量不会很大,这样的话m值相对较小,大大减少扫描的行数。其实传统的limit m,n,相对的偏移一直是第一页,这样的话越翻到后面,效率越差,而上面给出的方法就没有这样的问题。
注意SQL语句里面的ASC和DESC,如果是ASC取出来的结果,显示的时候记得倒置一下。
已在60W数据总量的表中测试,效果非常明显。
分享到:
评论

相关推荐

    itk,错误:use /Zm to specify a higher limit解决办法

    - 在项目属性中找到 C/C++ -&gt; 预处理器 -&gt; 最大内存分配量 (/Zm)。 - 增加/Zm值可以有效解决此问题。例如,可以尝试将值设置为2000,这会将内存分配量提升至1000MB左右。 **举例**: - `/Zm200` 对应约100MB。 ...

    Oracle分页(limit方式的运用)

    其中一种常用的方法就是使用`LIMIT`子句(尽管Oracle数据库本身不直接支持标准SQL中的`LIMIT`关键字,但可以通过其他方式模拟其功能)。本文将详细介绍如何在Oracle中实现类似`LIMIT`的关键字来完成分页查询。 ####...

    Kudu :Service unavailable: Soft memory limit exceeded at xxx% of capacity

    硬存储器限制是Kudu进程允许使用的最大数量,由--memory_limit_hard_bytes标志控制。 软内存限制是由硬盘内存限制的一个百分比,由--memory_limit_soft_percentage标志控制,memory_limit_soft_percentage默认值为8

    limit传参的使用方法

    - **参数传递**:在上述示例中,使用了`setString`和`setInt`方法来设置参数。实际应用中,根据不同的数据类型,还可以使用其他相应的方法,如`setDouble`、`setDate`等。 #### 四、注意事项 1. **参数顺序**:在...

    x-rate:遵守x-rate-limit标头

    率安装 npm install x-rate --save关于使用并遵守X-Rate-Limit标头。 X-Rate-Limit-Limit: 60X-Rate-Limit-Remaining: 25X-Rate-Limit-Reset: 8用 var request = require('request');var Xrate = require('x-rate');...

    windows系统下内存压力测试工具testlimit.exe

    4. **安全停止**:在测试结束后,工具应能安全地释放所占用的内存,防止对系统造成持久影响。 `Testlimit64.exe`是64位版本的工具,适用于64位Windows操作系统,而`Testlimit.exe`则是32位版本,用于32位系统。这两...

    关于sqlite使用limit的一些详细说明

    例如,MySQL支持`LIMIT`后的`OFFSET`,而某些数据库可能需要使用其他方法来实现相同的功能。 7. **优化策略:** 对于非常大的数据集,使用`LIMIT`和`OFFSET`可能效率较低,因为数据库需要扫描和跳过许多行。在这种...

    Mysql_limit.zip_limit

    通过以上讲解,我们了解了`LIMIT`在MySQL中的作用、使用方法以及与`ORDER BY`的配合,以及如何通过优化来提高查询效率。在实际开发中,熟练掌握`LIMIT`的运用能帮助我们更好地处理大数据查询,提升数据库的性能。

    grunt-css-selector-limit:封装css-selector-limit模块的Grunt插件

    熟悉该过程后,可以使用以下命令安装此插件: npm install grunt-css-selector-limit --save-dev 插件安装完成后,可以使用以下JavaScript代码在您的Gruntfile中启用该插件: grunt . loadNpmTasks ( 'grunt-css-...

    使用limit,offset分页场景时为什么会慢

    总之,避免大量使用`OFFSET`,尤其是在数据量庞大的情况下,转而使用其他策略如游标或索引覆盖,可以显著提高分页查询的性能。同时,深入学习数据库的内部机制,结合业务需求调整查询方式,是解决此类问题的关键。

    codeigniter sqlsrv驱动,修改了limit函数

    在CodeIgniter的原始SQLSRV驱动中,可能未正确处理`limit()`方法,导致在执行涉及分页查询或限制查询结果集大小的操作时出现问题。修复这个问题通常涉及到对数据库查询构造过程的理解,以及如何正确地将`LIMIT`子句...

    nginx限制连接数ngx_http_limit_conn_module模块1

    在互联网服务中,服务器经常面临流量异常、负载过大的情况,尤其在遭受大流量恶意攻击时,带宽的浪费、服务器压力的增大都会对业务造成严重影响。为了应对这些问题,我们可以利用 Nginx 的 ngx_...

    解决hive报hdfs exceeded directory item limit错误

    在使用Apache Hive进行大数据处理时,可能会遇到一种错误提示:“hdfs exceeded directory item limit”。这个错误是因为HDFS(Hadoop Distributed File System)的某个目录下的子目录数量超过了默认的最大限制,即...

    MYSQL分页limit速度太慢的优化方法

    以下是一些针对MySQL `LIMIT` 分页速度慢的优化方法: 1. **避免大`OFFSET`值**: 当`OFFSET`值很大时,MySQL会跳过很多行才能到达需要返回的数据。例如,`LIMIT 200000, 10`需要扫描200010行,这是非常低效的。...

    如何在SQL Server中实现 Limit m,n 的功能

    在MySQL中,可以用 Limit 来查询第 m 列到第 n 列的记录,例如: 代码如下:select * from tablename limit m, n但是,在SQL Server中,不支持 Limit 语句。怎么办呢?解决方案:虽然SQL Server不支持 Limit ,但是它...

    java笔记\Oracle里sql不能用limit的处理

    在Java开发中,我们经常需要对数据库进行分页查询,但是Oracle数据库不支持Limit关键字,那么如何在Oracle中实现分页查询呢?下面,我们将详细介绍Oracle中SQL不能用Limit的处理方法。 一、使用RowNum实现分页查询 ...

    ThinkPHP中limit()使用方法详解

    本文将详细介绍ThinkPHP中limit()方法的使用方法。 一、limit()方法的基础用法 limit()方法通常被用于以下两种场景:限制查询结果数量和分页查询。顾名思义,通过limit()方法可以限制查询返回的记录数,它可以单独...

    p-limit:在有限的并发下运行多个承诺返回和异步功能

    p极限在有限的并发下运行多个承诺返回和异步功能安装$ npm install p-limit用法const pLimit = require ( 'p-limit' ) ;const limit = pLimit ( 1 ) ;const input = [limit ( ( ) =&gt; fetchSomething ( 'foo' ) ) ,...

    systemverilog牛人学习笔记

    1. **定长数组**:在定义时确定长度的数组。 2. **动态数组**:数组的大小可以在运行时确定,例如: ```systemverilog reg[7:0] ID[]; ID = new(100); ``` 这里创建了一个长度为100的动态数组。 3. **队列**:...

    RamTool - TestLimit

    在开始使用 RamTool - TestLimit 之前,用户应仔细阅读这个文件,了解软件的使用限制和版权信息。 总的来说,RamTool - TestLimit 是一个强大的内存测试工具,对于系统管理员、硬件爱好者和开发者来说,它可以帮助...

Global site tag (gtag.js) - Google Analytics