- 浏览: 890867 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
zzuliuli:
很实用,一直关注
mysql的执行计划 -
rxin2009:
你好,最近在解决redis数据同步的问题,找到了tedis,但 ...
taobao/tedis的redis集群 -
zhangping2056:
楼主接下来要考虑页面静态化与细节上面的东西了
Nginx与Redis解决高并发问题 -
XieFuQ:
Tomcat的重启shell脚本 -
jovinlee:
jovinlee 写道 jov ...
Tomcat的重启shell脚本
常见误区
误区1:
count(1)和count(primary_key) 优于 count(*)
很多人为了统计记录条数,就使用 count(1) 和 count(primary_key) 而不是 count(*) ,他们认为这样性能更好,其实这是一个误区。对于有些场景,这样做可能性能会更差,应为数据库对 count(*) 计数操作做了一些特别的优化。
误区2:
count(column) 和 count(*) 是一样的
这个误区甚至在很多的资深工程师或者是 DBA 中都普遍存在,很多人都会认为这是理所当然的。实际上,count(column) 和 count(*) 是一个完全不一样的操作,所代表的意义也完全不一样。
count(column) 是表示结果集中有多少个column字段不为空的记录
count(*) 是表示整个结果集有多少条记录
误区3:
select a,b from … 比 select a,b,c from … 可以让数据库访问更少的数据量
这个误区主要存在于大量的开发人员中,主要原因是对数据库的存储原理不是太了解。
实际上,大多数关系型数据库都是按照行(row)的方式存储,而数据存取操作都是以一个固定大小的IO单元(被称作 block 或者 page)为单位,一般为4KB,8KB… 大多数时候,每个IO单元中存储了多行,每行都是存储了该行的所有字段(lob等特殊类型字段除外)。
所以,我们是取一个字段还是多个字段,实际上数据库在表中需要访问的数据量其实是一样的。
当然,也有例外情况,那就是我们的这个查询在索引中就可以完成,也就是说当只取 a,b两个字段的时候,不需要回表,而c这个字段不在使用的索引中,需要回表取得其数据。在这样的情况下,二者的IO量会有较大差异。(覆盖索引)
误区4:
order by 一定需要排序操作
我们知道索引数据实际上是有序的,如果我们的需要的数据和某个索引的顺序一致,而且我们的查询又通过这个索引来执行,那么数据库一般会省略排序操作,而直接将数据返回,因为数据库知道数据已经满足我们的排序需求了。
实际上,利用索引来优化有排序需求的 SQL,是一个非常重要的优化手段
延伸阅读:MySQL ORDER BY 的实现分析 ,MySQL 中 GROUP BY 基本实现原理 以及 MySQL DISTINCT 的基本实现原理。(order by null)
误区5:
执行计划中有 filesort 就会进行磁盘文件排序
有这个误区其实并不能怪我们,而是因为 MySQL 开发者在用词方面的问题。filesort 是我们在使用 explain 命令查看一条 SQL 的执行计划的时候可能会看到在 “Extra” 一列显示的信息。
实际上,只要一条 SQL 语句需要进行排序操作,都会显示“Using filesort”,这并不表示就会有文件排序操作。
延伸阅读:理解 MySQL Explain 命令输出中的filesort,从中可以让我们更加了解Explain,让我们清晰知道哪种执行计划更优。
基本原则
原则1:
尽量少 join
MySQL 的优势在于简单,但这在某些方面其实也是其劣势。MySQL 优化器效率高,但是由于其统计信息的量有限,优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join,一方面由于其优化器受限,再者在 Join 这方面所下的功夫还不够,所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询,这一差距就会极小甚至在有些场景下要优于这些数据库前辈。
原则2:
尽量少排序
排序操作会消耗较多的 CPU 资源,所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。
对于MySQL来说,减少排序有多种办法,比如:
1.上面误区中提到的通过利用索引来排序的方式进行优化
2.减少参与排序的记录条数
3.非必要不对数据进行排序
…
原则3:
尽量避免 select *
很多人看到这一点后觉得比较难理解,上面不是在误区中刚刚说 select 子句中字段的多少并不会影响到读取的数据吗?
是的,大多数时候并不会影响到 IO 量,但是当我们还存在 order by 操作的时候,select 子句中的字段多少会在很大程度上影响到我们的排序效率。
此外,上面误区中还说了,只是大多数时候是不会影响到 IO 量,当我们的查询结果仅仅只需要在索引中就能找到的时候,还是会极大减少 IO 量的。(覆盖索引)
原则4:
尽量用 join 代替子查询
虽然 Join 性能并不佳,但是和 MySQL 的子查询比起来还是有非常大的性能优势。MySQL 的子查询执行计划一直存在较大的问题,虽然这个问题已经存在多年,但是到目前已经发布的所有稳定版本中都普遍存在,一直没有太大改善。虽然官方也在很早就承认这一问题,并且承诺尽快解决,但是至少到目前为止我们还没有看到哪一个版本较好的解决了这一问题。
原则5:
尽量少 or
当 where 子句中存在多个条件以“或”并存的时候,MySQL 的优化器并没有很好的解决其执行计划优化问题,再加上 MySQL 特有的 SQL 与 Storage 分层架构方式,造成了其性能比较低下,很多时候使用 union all 或者是union(必要的时候)的方式来代替“or”会得到更好的效果。
原则6:
尽量用 union all 代替 union
union 和 union all 的差异主要是前者需要将两个(或者多个)结果集合并后再进行唯一性过滤操作,这就会涉及到排序,增加大量的 CPU 运算,加大资源消耗及延迟。所以当我们可以确认不可能出现重复结果集或者不在乎重复结果集的时候,尽量使用 union all 而不是 union。
原则7:
尽量早过滤
这一优化策略其实最常见于索引的优化设计中(将过滤性更好的字段放得更靠前)。
在 SQL 编写中同样可以使用这一原则来优化一些 Join 的 SQL。比如我们在多个表进行分页数据查询的时候,我们最好是能够在一个表上先过滤好数据分好页,然后再用分好页的结果集与另外的表 Join,这样可以尽可能多的减少不必要的 IO 操作,大大节省 IO 操作所消耗的时间。(storage engine本身可以识别最优连接顺序,但毕竟也是程序,当多表复杂连接的时候也会不灵光。有时候手动straight-join控制表连接顺序,效果会很明显)
原则8:
避免类型转换
这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换。
人为在column_name 上通过转换函数进行转换,直接导致 MySQL(实际上其他数据库也会有同样的问题)无法使用索引,如果非要转换,应该在传入的参数上进行转换。
如果我们传入的数据类型和字段类型不一致,同时我们又没有做任何类型转换处理,MySQL 可能会自己对我们的数据进行类型转换操作,也可能不进行处理而交由存储引擎去处理,这样一来,也会出现索引无法使用的情况而造成执行计划问题。(同时要注意<>不等于也不会用到索引,如果数据量比较大,可以采用子查询not in,或者进一步优化到使用外连接的方式)
原则9:
优先优化高并发的 SQL,而不是执行频率低某些“大”SQL
对于破坏性来说,高并发的 SQL 总是会比低频率的来得大,因为高并发的 SQL 一旦出现问题,甚至不会给我们任何喘息的机会就会将系统压跨。而对于一些虽然需要消耗大量 IO 而且响应很慢的 SQL,由于频率低,即使遇到,最多就是让整个系统响应慢一点,但至少可能撑一会儿,让我们有缓冲的机会。
原则10:
从全局出发优化,而不是片面调整
SQL 优化不能是单独针对某一个进行,而应充分考虑系统中所有的 SQL,尤其是在通过调整索引优化 SQL 的执行计划的时候,千万不能顾此失彼,因小失大。
尽可能对每一条运行在数据库中的SQL进行 explain
优化 SQL,需要做到心中有数,知道 SQL 的执行计划才能判断是否有优化余地,才能判断是否存在执行计划问题。在对数据库中运行的 SQL 进行了一段时间的优化之后,很明显的问题 SQL 可能已经很少了,大多都需要去发掘,这时候就需要进行大量的 explain 操作收集执行计划,并判断是否需要进行优化。
还可以通过慢查询日志分析,sql执行监控等手段去进一步筛选可优化的sql。
发表评论
-
mysql-覆盖索引
2019-09-19 09:46 0思维导图-索引篇 系列思维导图源文件(数据库+架构) ... -
MySQL高性能优化规范建议
2019-09-19 09:26 0作者: 听风,原文地址: https://www.cnb ... -
事务的四种隔离级别
2019-09-19 08:50 0数据库事务的隔离级别有4种,由低到高分别为Read unco ... -
TCC 分布式事务
2019-09-11 09:30 0https://www.cnblogs.com/jajia ... -
终于明白为什么要“分库分表”了!
2019-09-11 09:28 0例如:单表中出现了,动辄百万甚至千万级别的数据。“分表分库” ... -
数据同步利器-otter的搭建使用说明
2019-09-11 09:26 0本文链接:https://blog.cs ... -
springboot+mycat数据库中间件+mysql(一主一备)主从复制
2019-09-11 09:05 0springboot+mycat数据库中 ... -
分布式数据库中间件Mycat百亿级数据存储(转)
2019-09-11 09:04 0此文转自: https://www.jiansh ... -
Mysql+Mycat实现数据库主从同步与读写分离
2019-09-11 09:03 0此文章源于 对文章中的架构扩展介绍,之前写过一篇关于M ... -
mysql主从复制
2016-09-26 10:31 613mysql主从复制(超简单) 怎么安装mysql数据库 ... -
mysql记录耗时的sql
2014-08-21 10:11 1243author:skatetime:2012/02/17mys ... -
mysql-锁表机制分析
2014-08-12 15:20 559为了给高并发情况下的 ... -
MyISAM InnoDB 区别
2014-08-12 15:18 524MyISAM 和 InnoDB 讲解 InnoDB和 ... -
MySQL行锁深入研究
2014-08-12 15:10 653做项目时由于业务逻辑的需要,必须对数据表的一行或多行加入行锁 ... -
MySQL批量数据导入Load data infile解决方案
2013-12-30 15:52 1997转自:http://www.veryphp.cn/datas ... -
mysql load
2013-12-16 18:36 0http://bugs.mysql.com/bug.php? ... -
MySQL监控所用到的常用命令
2013-12-03 16:13 565转自:http://www.easywu.com/?p=35 ... -
Mysql的存储引擎在InnoDB和MyISAM时的锁
2013-11-11 09:23 879mysql查询更新时的锁表机制分析 为了给高并发情 ... -
mysql LOCK
2013-11-10 16:07 848MySQL官方文档 http://dev.mysql.com/ ... -
MySQL innoDB insert into性能优化
2013-11-10 15:58 2211起因:有一个innoDB引擎的表Table,在一个大概3000 ...
相关推荐
### MySQL优化之SQL语句与索引优化 #### 数据库设计合理性 在MySQL数据库的优化过程中,合理设计数据库(表)至关重要。一个合理的数据库设计能够有效地提高查询性能、减少数据冗余并确保数据完整性。 - **3NF**...
MySQL数据库优化SQL篇PPT课件.pptx 本PPT课件主要讲述了MySQL数据库优化的重要知识点,特别是SQL优化方面的内容。从执行计划、SELECT语句、IN和EXIST语句、LIMIT语句、RAND函数、Order by、Group by、Distinct和...
MySQL优化SQL语句的技巧是数据库管理员和开发人员提高系统性能的关键技能。本文主要探讨了四种常见的SQL优化策略,旨在帮助开发者更好地理解和改进SQL查询性能。 1. **分解SQL**: 在面对复杂的SQL查询时,一个...
### MySQL数据库SQL优化 #### 一、SQL优化 在MySQL数据库管理中,SQL查询的性能直接影响到系统的响应时间和资源消耗。通过合理的SQL优化,可以显著提高数据处理速度,降低服务器负载,提升用户体验。 ##### 1.1 ...
尽管如此,我将基于标题和描述中提供的关键词“Effective MySQL之SQL语句最优化”来构建知识点。 1. SQL语句最优化的概念:在数据库管理中,对SQL语句进行优化是提高数据库性能的关键环节。最优化的SQL语句能够在...
《Effective MySQL之SQL语句最优化》提供了很多可以用于... ●用SQL语句优化的生命周期来识别、确认、分析然后优化SQL语句,并检查优化的结果; ●学习使用不为常人所知的一些性能技巧来改进索引效率并简化SQL语句。
如果突然交给你一个你完全不清楚的数据库让你进行优化,可能我们需要对sql语句进行优化,我们需要又怎么样的思路: 1.首先我们要了解一下次库是以写为主还是读为主: 通过show [session|global] status like '...
mysql优化从以下几个方面介绍 mysql的架构 索引优化分析 查询截取分析 mysql锁机制 主从复制
MySQL性能优化涉及多个方面,包括合理配置关键参数、优化SQL语句等。通过对这些核心参数的理解和调整,以及采用有效的SQL优化策略,可以显著提升MySQL数据库的性能。此外,持续监控和评估系统的性能表现也是非常重要...
MySQL的SQL优化是数据库管理中的重要环节,尤其对于有经验的开发者来说,了解并掌握这一技能可以显著提升数据库性能,减少资源消耗。SQL优化主要涉及查询效率、索引使用、查询语句结构优化等多个方面。 首先,理解...
2.1优化SQL的一般步骤 2.2 索引问题. 2.3两个常用的优化技巧 2.4常用SQL优化 2.5常用SQL技巧 3.优化数据库对象 3.1优化表的数据类型逆规范化 3.2提高查询速度 4.锁问题 4.1MyISQM表锁 4.2InnoDB锁问题 5...
接下来,我们将探讨Oracle和MySQL在SQL优化方面的共性和差异性,以及这些知识如何帮助数据库管理员(DBA)在不同环境中实施有效的SQL优化。 首先,我们要明确两个数据库系统的基本架构。Oracle数据库是一个功能强大...
在数据库管理领域,SQL优化是提升系统性能的关键环节,尤其是在处理大数据量时,优化SQL语句能够显著减少查询时间,改善用户体验,同时减轻服务器负担。 首先,SQL优化的基础在于理解SQL语句的工作原理。SQL是...
《Effective MySQL之SQL语句最优化》是一本深入探讨如何提升数据库性能,特别是针对SQL查询进行优化的专业书籍。在数据库管理中,SQL语句...通过学习和实践,我们可以有效地优化SQL,从而提高整个系统的效率和稳定性。
7. **性能优化**:转换后的SQL Server数据库可能需要进行一些性能优化,如调整索引、分区策略、内存配置等,以适应新的环境。 8. **安全考虑**:迁移过程中要注意权限和角色的映射,确保用户访问控制的平滑过渡。 ...
"Effective MySQL之SQL语句最优化"这本书深入探讨了如何通过优化SQL查询来提高MySQL数据库的效率。以下是基于这个主题的一些关键知识点: 1. **索引优化**:索引是数据库性能提升的核心。书中的内容可能涵盖如何...
SQL 查询优化(提高 MySQL 数据库查询效率的几个技巧) 在 MySQL 数据库中,查询优化是一个非常重要的方面。在实际应用中,高效的查询可以提高整个系统的性能和响应速度。下面我们将介绍几个提高 MySQL 数据库查询...
一、MySQL优化 1. 结构优化:这涉及到数据库设计,如合理创建索引、避免全表扫描、选择合适的数据类型,以及规范化与反规范化设计等。正确地设置主键和外键,可以提高数据一致性并优化查询速度。 2. 查询优化:编写...
【MySQL优化和SQL语句详解】 在软件开发中,MySQL是一个不可或缺的数据库管理系统,它以其高效、稳定和开源的特点,广泛应用于各种规模的应用程序。掌握MySQL优化和SQL语句的使用,对于提升应用性能和效率至关重要...