- 浏览: 13107 次
文章分类
最新评论
在实例讲解之前,我们先回顾一下联表查询的基础知识。
——联表查询的基础知识——
引子:为什么第一个查询using temporary,第二个查询不用临时表呢?
下面两个查询,它们只差了一个order by,效果却迥然不同。
第一个查询:
EXPLAIN extended
SELECT ads.id
FROM ads, city
WHERE
city.city_id = 8005
AND ads.status = 'online'
AND city.ads_id=ads.id
ORDER BY ads.id desc
执行计划为:
id select_type table type possible_keys key key_len ref rows filtered Extra
------ ----------- ------ ------ -------------- ------- ------- -------------------- ------ -------- -------------------------------
1 SIMPLE city ref ads_id,city_id city_id 4 const 2838 100.00 Using temporary; Using filesort
1 SIMPLE ads eq_ref PRIMARY PRIMARY 4 city.ads_id 1 100.00 Using where
第二个查询:
EXPLAIN extended
SELECT ads.id
FROM ads,city
WHERE
city.city_id =8005
AND ads.status = 'online'
AND city.ads_id=ads.id
ORDER BY city.ads_id desc
执行计划里没有了using temporary:
id select_type table type possible_keys key key_len ref rows filtered Extra
------ ----------- ------ ------ -------------- ------- ------- -------------------- ------ -------- ---------------------------
1 SIMPLE city ref ads_id,city_id city_id 4 const 2838 100.00 Using where; Using filesort
1 SIMPLE ads eq_ref PRIMARY PRIMARY 4 city.ads_id 1 100.00 Using where
为什么?
DBA告诉我们:
MySQL 表关联的算法是 Nest Loop Join,是通过驱动表的结果集作为循环基础数据,然后一条一条地通过该结果集中的数据作为过滤条件到下一个表中查询数据,然后合并结果。
EXPLAIN 结果中,第一行出现的表就是驱动表(Important!)
以上两个查询语句,驱动表都是 city,如上面的执行计划所示!
对驱动表可以直接排序,对非驱动表(的字段排序)需要对循环查询的合并结果(临时表)进行排序(Important!)
因此,order by ads.id desc 时,就要先 using temporary 了!
驱动表的定义
wwh999 在 2006年总结说,当进行多表连接查询时, [驱动表] 的定义为:
1)指定了联接条件时,满足查询条件的记录行数少的表为[驱动表];
2)未指定联接条件时,行数少的表为[驱动表](Important!)。
忠告:如果你搞不清楚该让谁做驱动表、谁 join 谁,请让 MySQL 运行时自行判断
既然“未指定联接条件时,行数少的表为[驱动表]”了,
而且你也对自己写出的复杂的 Nested Loop Join 不太有把握(如下面的实例所示),
就别指定谁 left/right join 谁了,
请交给 MySQL优化器 运行时决定吧。
如果您对自己特别有信心,可以像火丁一样做优化。
小结果集驱动大结果集
de.cel 在2012年总结说,不管是你,还是 MySQL,
优化的目标是尽可能减少JOIN中Nested Loop的循环次数,
以此保证:
永远用小结果集驱动大结果集(Important!)!
——实例讲解——
Nested Loop Join慢查SQL语句
先了解一下 mb 表有 千万级记录,mbei 表要少得多。慢查实例如下:
explain
SELECT mb.id, ……
FROMmb LEFT JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mbei.apply_time DESC
limit 0,10
够复杂吧。Nested Loop Join 就是这样,
以驱动表的结果集作为循环的基础数据,然后将结果集中的数据作为过滤条件一条条地到下一个表中查询数据,最后合并结果;此时还有第三个表,则将前两个表的 Join 结果集作为循环基础数据,再一次通过循环查询条件到第三个表中查询数据,如此反复。
这条语句的执行计划如下:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- -------------- ------- ------------------- ------- --------------------------------------------
1 SIMPLE mb index userid userid 4 (NULL) 6060455 Using index; Using temporary; Using filesort
1 SIMPLE mbei eq_ref mb_id mb_id 4 mb.id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
由于动用了“LEFT JOIN”,所以攻城狮已经指定了驱动表,虽然这张驱动表的结果集记录数达到百万级!
.
.
如何优化?
.
.
优化第一步:LEFT JOIN改为JOIN
干嘛要 left join 啊?直接 join!
explain
SELECT mb.id……
FROM mb JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mbei.apply_time DESC
limit 0,10
立竿见影,驱动表立刻变为小表 mbei 了, Using temporary 消失了,影响行数少多了:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- ------- ------- ---------------------------- ------ --------------
1 SIMPLE mbei ALL mb_id (NULL) (NULL) (NULL) 13383 Using filesort
1 SIMPLE mb eq_ref PRIMARY,userid PRIMARY 4 mbei.mb_id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
优化第一步之分支1:根据驱动表的字段排序,好吗?
left join不变。干嘛要根据非驱动表的字段排序呢?我们前面说过“对驱动表可以直接排序,对非驱动表(的字段排序)需要对循环查询的合并结果(临时表)进行排序!”的。
explain
SELECT mb.id……
FROM mb LEFT JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mb.id DESC
limit 0,10
也满足业务场景,做到了rows最小:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- -------------- ------- ------------------- ------ -----------
1 SIMPLE mb index userid PRIMARY 4 (NULL) 10
1 SIMPLE mbei eq_ref mb_id mb_id 4 mb.id 1 Using index
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
优化第二步:去除所有JOIN,让MySQL自行决定!
写这么多密密麻麻的 left join/inner join 很开心吗?
explain
SELECT mb.id……
FROM mb,mbei,u
WHERE
mb.id=mbei.mb_id
and mb.uid=u.user_id
order by mbei.apply_time desc
limit 0,10
立竿见影,驱动表一样是小表 mbei:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- ------- ------- ---------------------------- ------ --------------
1 SIMPLE mbei ALL mb_id (NULL) (NULL) (NULL) 13388 Using filesort
1 SIMPLE mb eq_ref PRIMARY,userid PRIMARY 4 mbei.mb_id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
最后的总结:
强调再强调:
不要过于相信你的运气!
不要相信你的开发环境里SQL的执行速度!
请拿起 explain 武器,
如果你看到以下现象,请优化:
出现了Using temporary;
rows过多,或者几乎是全表的记录数;
key 是 (NULL);
possible_keys 出现过多(待选)索引。
记住,explain 是一种美德!
参考资源:
1)wwh999,2006,进行多表查时的排序问题,其多表查询时的原理论证! ;
2)de.cel,2012,MySQL中的Join 原理及优化思路 ;
3)火丁,2013,MySQL优化的奇技淫巧之STRAIGHT_JOIN;
http://www.sql8.net
——联表查询的基础知识——
引子:为什么第一个查询using temporary,第二个查询不用临时表呢?
下面两个查询,它们只差了一个order by,效果却迥然不同。
第一个查询:
EXPLAIN extended
SELECT ads.id
FROM ads, city
WHERE
city.city_id = 8005
AND ads.status = 'online'
AND city.ads_id=ads.id
ORDER BY ads.id desc
执行计划为:
id select_type table type possible_keys key key_len ref rows filtered Extra
------ ----------- ------ ------ -------------- ------- ------- -------------------- ------ -------- -------------------------------
1 SIMPLE city ref ads_id,city_id city_id 4 const 2838 100.00 Using temporary; Using filesort
1 SIMPLE ads eq_ref PRIMARY PRIMARY 4 city.ads_id 1 100.00 Using where
第二个查询:
EXPLAIN extended
SELECT ads.id
FROM ads,city
WHERE
city.city_id =8005
AND ads.status = 'online'
AND city.ads_id=ads.id
ORDER BY city.ads_id desc
执行计划里没有了using temporary:
id select_type table type possible_keys key key_len ref rows filtered Extra
------ ----------- ------ ------ -------------- ------- ------- -------------------- ------ -------- ---------------------------
1 SIMPLE city ref ads_id,city_id city_id 4 const 2838 100.00 Using where; Using filesort
1 SIMPLE ads eq_ref PRIMARY PRIMARY 4 city.ads_id 1 100.00 Using where
为什么?
DBA告诉我们:
MySQL 表关联的算法是 Nest Loop Join,是通过驱动表的结果集作为循环基础数据,然后一条一条地通过该结果集中的数据作为过滤条件到下一个表中查询数据,然后合并结果。
EXPLAIN 结果中,第一行出现的表就是驱动表(Important!)
以上两个查询语句,驱动表都是 city,如上面的执行计划所示!
对驱动表可以直接排序,对非驱动表(的字段排序)需要对循环查询的合并结果(临时表)进行排序(Important!)
因此,order by ads.id desc 时,就要先 using temporary 了!
驱动表的定义
wwh999 在 2006年总结说,当进行多表连接查询时, [驱动表] 的定义为:
1)指定了联接条件时,满足查询条件的记录行数少的表为[驱动表];
2)未指定联接条件时,行数少的表为[驱动表](Important!)。
忠告:如果你搞不清楚该让谁做驱动表、谁 join 谁,请让 MySQL 运行时自行判断
既然“未指定联接条件时,行数少的表为[驱动表]”了,
而且你也对自己写出的复杂的 Nested Loop Join 不太有把握(如下面的实例所示),
就别指定谁 left/right join 谁了,
请交给 MySQL优化器 运行时决定吧。
如果您对自己特别有信心,可以像火丁一样做优化。
小结果集驱动大结果集
de.cel 在2012年总结说,不管是你,还是 MySQL,
优化的目标是尽可能减少JOIN中Nested Loop的循环次数,
以此保证:
永远用小结果集驱动大结果集(Important!)!
——实例讲解——
Nested Loop Join慢查SQL语句
先了解一下 mb 表有 千万级记录,mbei 表要少得多。慢查实例如下:
explain
SELECT mb.id, ……
FROMmb LEFT JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mbei.apply_time DESC
limit 0,10
够复杂吧。Nested Loop Join 就是这样,
以驱动表的结果集作为循环的基础数据,然后将结果集中的数据作为过滤条件一条条地到下一个表中查询数据,最后合并结果;此时还有第三个表,则将前两个表的 Join 结果集作为循环基础数据,再一次通过循环查询条件到第三个表中查询数据,如此反复。
这条语句的执行计划如下:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- -------------- ------- ------------------- ------- --------------------------------------------
1 SIMPLE mb index userid userid 4 (NULL) 6060455 Using index; Using temporary; Using filesort
1 SIMPLE mbei eq_ref mb_id mb_id 4 mb.id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
由于动用了“LEFT JOIN”,所以攻城狮已经指定了驱动表,虽然这张驱动表的结果集记录数达到百万级!
.
.
如何优化?
.
.
优化第一步:LEFT JOIN改为JOIN
干嘛要 left join 啊?直接 join!
explain
SELECT mb.id……
FROM mb JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mbei.apply_time DESC
limit 0,10
立竿见影,驱动表立刻变为小表 mbei 了, Using temporary 消失了,影响行数少多了:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- ------- ------- ---------------------------- ------ --------------
1 SIMPLE mbei ALL mb_id (NULL) (NULL) (NULL) 13383 Using filesort
1 SIMPLE mb eq_ref PRIMARY,userid PRIMARY 4 mbei.mb_id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
优化第一步之分支1:根据驱动表的字段排序,好吗?
left join不变。干嘛要根据非驱动表的字段排序呢?我们前面说过“对驱动表可以直接排序,对非驱动表(的字段排序)需要对循环查询的合并结果(临时表)进行排序!”的。
explain
SELECT mb.id……
FROM mb LEFT JOIN mbei ON mb.id=mbei.mb_id INNER JOINu ON mb.uid=u.uid
WHERE 1=1
ORDER BY mb.id DESC
limit 0,10
也满足业务场景,做到了rows最小:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- -------------- ------- ------------------- ------ -----------
1 SIMPLE mb index userid PRIMARY 4 (NULL) 10
1 SIMPLE mbei eq_ref mb_id mb_id 4 mb.id 1 Using index
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
优化第二步:去除所有JOIN,让MySQL自行决定!
写这么多密密麻麻的 left join/inner join 很开心吗?
explain
SELECT mb.id……
FROM mb,mbei,u
WHERE
mb.id=mbei.mb_id
and mb.uid=u.user_id
order by mbei.apply_time desc
limit 0,10
立竿见影,驱动表一样是小表 mbei:
id select_type table type possible_keys key key_len ref rows Extra
------ ----------- ------ ------ -------------- ------- ------- ---------------------------- ------ --------------
1 SIMPLE mbei ALL mb_id (NULL) (NULL) (NULL) 13388 Using filesort
1 SIMPLE mb eq_ref PRIMARY,userid PRIMARY 4 mbei.mb_id 1
1 SIMPLE u eq_ref PRIMARY PRIMARY 4 mb.uid 1 Using index
最后的总结:
强调再强调:
不要过于相信你的运气!
不要相信你的开发环境里SQL的执行速度!
请拿起 explain 武器,
如果你看到以下现象,请优化:
出现了Using temporary;
rows过多,或者几乎是全表的记录数;
key 是 (NULL);
possible_keys 出现过多(待选)索引。
记住,explain 是一种美德!
参考资源:
1)wwh999,2006,进行多表查时的排序问题,其多表查询时的原理论证! ;
2)de.cel,2012,MySQL中的Join 原理及优化思路 ;
3)火丁,2013,MySQL优化的奇技淫巧之STRAIGHT_JOIN;
http://www.sql8.net
发表评论
-
MySQL 性能优化的最佳20多条经验分享
2014-09-19 11:47 437当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL ... -
防止人为误操作MySQL数据库技巧一例
2014-09-19 11:45 633防止人为误操作MySQL数据库技巧一例 (本题来自老男孩培训 ... -
[慢查优化]慎用MySQL子查询,尤其是看到DEPENDENT SUBQUERY标记时
2014-09-11 11:59 1931写在前面的话: 在慢查优化1和2里都反复强调过 explain ... -
[慢查优化]建索引时注意字段选择性 & 范围查询注意组合索引的字段顺序
2014-09-11 11:57 1168写在前面的话: 之前曾说过“不要求每个人一定理解 联表查询(j ... -
MySql数据库导出csv
2014-09-01 15:49 840MySql数据库导出csv文件 ... -
[转载]mysql 错误 ERROR 1030 Got error 28 from
2014-08-25 10:01 1594今天需要更新下服务器中mysql字段,进入phpmyadmin ...
相关推荐
MySQL 8.0.28是其最新的版本,包含了性能优化、新的安全特性以及对InnoDB存储引擎的改进。在Linux环境下安装MySQL通常需要下载源码包或二进制包,像`mysql-8.0.28-el7-x86_64.tar.gz`这样的文件,用户可以解压后按照...
在这个"Amp-mysql.zip"压缩包中,包含的"mysql-master"目录很可能是一个MySQL客户端的源代码仓库。这个客户端利用AMP框架的特性,实现了与MySQL服务器的异步通信。通过这种方式,开发者可以构建能够高效处理数据库...
Springboot + Vue ElementUI 实现MySQL&&Postgresql可视化源码 附带表单动态查询条件及列表动态列,动态排序功能
- **性能优化**:为了提高应用程序的性能,可以采用多种策略,比如使用索引加速查询速度、定期清理不再需要的数据、优化SQL查询等。 以上就是从“PHP&MySQL范例精解_创建、修改、重用1.pdf”的标题和描述中推断出的...
4、下载使用后,可先查看README.md文件、项目说明(如有),本项目仅用作交流学习参考,请切勿用于商业 在日常工作生活中 内容概要:学生成绩查询 适用人群:学生、老师、企业员工,也适合小白学习进阶,当然也可...
【Ubuntu上MySQL & NetBeans配置】的文档主要介绍了如何在Ubuntu操作系统中配置MySQL数据库和集成开发环境NetBeans,以便进行Java开发与数据库交互。以下是详细的知识点解释: 1. **MySQL Client**: MySQL客户端是...
6. JOIN操作:连接两个或多个表,如 `INNER JOIN`、`LEFT JOIN` 或 `RIGHT JOIN`。 7. 视图:虚拟表,使用 `CREATE VIEW view_name AS SELECT ...;` 8. 索引:提高查询速度,`CREATE INDEX idx_name ON table_name...
4、下载使用后,可先查看README.md文件、项目说明(如有),本项目仅用作交流学习参考,请切勿用于商业 在日常工作生活中 内容概要:学生成绩查询系统 适用人群:学生、老师、企业员工,也适合小白学习进阶,当然也...
用与MySQL数据库的连接,连接池:jdbc:mysql://localhost:3306/数据库名?useUnicode=true&characterEncoding=UTF-8
《JavaFX与MySQL驱动下的报刊订阅管理系统》 在Java编程领域,JavaFX是一个强大的图形用户界面(GUI)工具包,用于构建跨平台的应用程序。它提供了丰富的UI组件和灵活的场景构建器,使得开发者能够创建出美观且功能...
即时通讯系统是现代企业协作和通信的重要工具,OpenFire、Spark以及MySQL是构建此类系统的三个关键组件。OpenFire是一款开源的XMPP服务器,它提供了实时通讯服务,而Spark则是一款基于XMPP协议的桌面客户端,用于...
css&javascript学习html&css&javascript 学习html&css&javascript学习html&css&javascript 学习html&css&javascript学习html&css&javascript 学习html&css&...
标题 "2288H V5&1288H V5&5288 V5-网卡驱动.rar" 暗示了这是一份针对特定型号服务器的网络适配器驱动程序集合,其中涉及的型号包括2288H V5、1288H V5以及5288 V5。这些服务器通常属于企业级硬件,用于处理高负载的...
联想官网软件Lenovo low profile USB keyboard,关闭fn功能恢复F1-F12按键,将F1-F12设置为标准功能键:勾选将F1-F12设置为标准功能键选项,当这个选项被勾选,按F1-F12使用标准功能键,按FN+F1-F12将使用印在键盘上...
MySQL 8.0 是一款广泛使用的开源关系型数据库管理系统,其稳定性和性能得到了广大开发者和企业的认可。本教程将提供详尽的安装步骤,包括针对可能出现的问题和报错的解决方案,确保在各种环境下都能顺利完成安装。 ...
《报刊订阅管理系统》是基于JavaFX图形用户界面和MySQL数据库技术构建的一款综合性的管理软件,旨在为用户提供方便快捷的报刊订阅、查询、管理和统计功能。本文将深入探讨该系统的技术架构、主要功能以及实现原理。 ...
以年级、班级为单位,进行老师和学生信息记录和统计功能。项目采用前后端分离架构思想,前端采用...存储层使用高性能的MySQL,服务器使用SpringBoot内置的Tomcat9.x,项目构建工具使用Maven来管理jar包和项目构建。
【MySQL安装使用规范】 1. **业务拆分与分库策略**:随着业务发展,MySQL数据库需要进行合理的拆分以适应不同的业务需求。这通常包括业务垂直分割,将大型项目分解为订单、物流、用户等多个独立子模块。每个模块...
《龙帝国封装工具S&R&SV9.7.1008:Windows系统封装的专业利器》 在IT行业中,系统封装是一项至关重要的任务,它能够将操作系统与特定的硬件配置、软件环境整合,形成一个易于部署和管理的镜像文件。龙帝国...