MySQL 数据库性能优化(转)

转载自：isky000.com/database/mysql-performance-tuning-sql

SQL优化

• 优化目标
  1. 减少 IO 次数
     IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。
  2. 降低 CPU 计算
     除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户（这些操作基本上都是 CPU 处理内存中的数据比较运算）。当我们的 IO 优化做到一定阶段之后，降低 CPU 计算也就成为了我们 SQL 优化的重要目标
• 优化方法
  1. 改变 SQL 执行计划
     明确了优化目标之后，我们需要确定达到我们目标的方法。对于 SQL 语句来说，达到上述2个目标的方法其实只有一个，那就是改变 SQL 的执行计划，让他尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，以达到 “减少 IO 次数” 和 “降低 CPU 计算” 的目标
• 常见误区
  1. count(1)和count(primary_key) 优于 count(*)
     很多人为了统计记录条数，就使用 count(1) 和 count(primary_key) 而不是 count(*) ，他们认为这样性能更好，其实这是一个误区。对于有些场景，这样做可能性能会更差，应为数据库对 count(*) 计数操作做了一些特别的优化。
  2. count(column) 和 count(*) 是一样的
     这个误区甚至在很多的资深工程师或者是 DBA 中都普遍存在，很多人都会认为这是理所当然的。实际上，count(column) 和 count(*) 是一个完全不一样的操作，所代表的意义也完全不一样。
     count(column) 是表示结果集中有多少个column字段不为空的记录
     count(*) 是表示整个结果集有多少条记录
  3. select a,b from … 比 select a,b,c from … 可以让数据库访问更少的数据量
     这个误区主要存在于大量的开发人员中，主要原因是对数据库的存储原理不是太了解。
     实际上，大多数关系型数据库都是按照行（row）的方式存储，而数据存取操作都是以一个固定大小的IO单元（被称作 block 或者 page）为单位，一般为4KB，8KB… 大多数时候，每个IO单元中存储了多行，每行都是存储了该行的所有字段（lob等特殊类型字段除外）。
     所以，我们是取一个字段还是多个字段，实际上数据库在表中需要访问的数据量其实是一样的。
     当然，也有例外情况，那就是我们的这个查询在索引中就可以完成，也就是说当只取 a,b两个字段的时候，不需要回表，而c这个字段不在使用的索引中，需要回表取得其数据。在这样的情况下，二者的IO量会有较大差异。
  4. order by 一定需要排序操作
     我们知道索引数据实际上是有序的，如果我们的需要的数据和某个索引的顺序一致，而且我们的查询又通过这个索引来执行，那么数据库一般会省略排序操作，而直接将数据返回，因为数据库知道数据已经满足我们的排序需求了。
     实际上，利用索引来优化有排序需求的 SQL，是一个非常重要的优化手段
     延伸阅读：MySQL ORDER BY 的实现分析 ，MySQL 中 GROUP BY 基本实现原理 以及 MySQL DISTINCT 的基本实现原理 这3篇文章中有更为深入的分析，尤其是第一篇
  5. 执行计划中有 filesort 就会进行磁盘文件排序
     有这个误区其实并不能怪我们，而是因为 MySQL 开发者在用词方面的问题。filesort 是我们在使用 explain 命令查看一条 SQL 的执行计划的时候可能会看到在 “Extra” 一列显示的信息。
     实际上，只要一条 SQL 语句需要进行排序操作，都会显示“Using filesort”，这并不表示就会有文件排序操作。
     延伸阅读：理解 MySQL Explain 命令输出中的filesort，我在这里有更为详细的介绍
• 基本原则
  1. 尽量少 join
     MySQL 的优势在于简单，但这在某些方面其实也是其劣势。MySQL 优化器效率高，但是由于其统计信息的量有限，优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join，一方面由于其优化器受限，再者在 Join 这方面所下的功夫还不够，所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询，这一差距就会极小甚至在有些场景下要优于这些数据库前辈。
  2. 尽量少排序
     排序操作会消耗较多的 CPU 资源，所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。
     对于MySQL来说，减少排序有多种办法，比如：

      

     • 上面误区中提到的通过利用索引来排序的方式进行优化
     • 减少参与排序的记录条数
     • 非必要不对数据进行排序
     • …
  3. 尽量避免 select *
     很多人看到这一点后觉得比较难理解，上面不是在误区中刚刚说 select 子句中字段的多少并不会影响到读取的数据吗？
     是的，大多数时候并不会影响到 IO 量，但是当我们还存在 order by 操作的时候，select 子句中的字段多少会在很大程度上影响到我们的排序效率，这一点可以通过我之前一篇介绍 MySQL ORDER BY 的实现分析 的文章中有较为详细的介绍。
     此外，上面误区中不是也说了，只是大多数时候是不会影响到 IO 量，当我们的查询结果仅仅只需要在索引中就能找到的时候，还是会极大减少 IO 量的。
  4. 尽量用 join 代替子查询
     虽然 Join 性能并不佳，但是和 MySQL 的子查询比起来还是有非常大的性能优势。MySQL 的子查询执行计划一直存在较大的问题，虽然这个问题已经存在多年，但是到目前已经发布的所有稳定版本中都普遍存在，一直没有太大改善。虽然官方也在很早就 承认这一问题，并且承诺尽快解决，但是至少到目前为止我们还没有看到哪一个版本较好的解决了这一问题。
  5. 尽量少 or
     当 where 子句中存在多个条件以“或”并存的时候，MySQL 的优化器并没有很好的解决其执行计划优化问题，再加上 MySQL 特有的 SQL 与 Storage 分层架构方式，造成了其性能比较低下，很多时候使用 union all 或者是union（必要的时候）的方式来代替“or”会得到更好的效果。
  6. 尽量用 union all 代替 union
     union 和 union all 的差异主要是前者需要将两个（或者多个）结果集合并后再进行唯一性过滤操作，这就会涉及到排序，增加大量的 CPU 运算，加大资源消耗及延迟。所以当我们可以确认不可能出现重复结果集或者不在乎重复结果集的时候，尽量使用 union all 而不是 union。
  7. 尽量早过滤
     这一优化策略其实最常见于索引的优化设计中（将过滤性更好的字段放得更靠前）。
     在 SQL 编写中同样可以使用这一原则来优化一些 Join 的 SQL。比如我们在多个表进行分页数据查询的时候，我们最好是能够在一个表上先过滤好数据分好页，然后再用分好页的结果集与另外的表 Join，这样可以尽可能多的减少不必要的 IO 操作，大大节省 IO 操作所消耗的时间。
  8. 避免类型转换
     这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换：

      

     • 人为在column_name 上通过转换函数进行转换
       直接导致 MySQL（实际上其他数据库也会有同样的问题）无法使用索引，如果非要转换，应该在传入的参数上进行转换
     • 由数据库自己进行转换
       如果我们传入的数据类型和字段类型不一致，同时我们又没有做任何类型转换处理，MySQL 可能会自己对我们的数据进行类型转换操作，也可能不进行处理而交由存储引擎去处理，这样一来，就会出现索引无法使用的情况而造成执行计划问题。
  9. 优先优化高并发的 SQL，而不是执行频率低某些“大”SQL
     对于破坏性来说，高并发的 SQL 总是会比低频率的来得大，因为高并发的 SQL 一旦出现问题，甚至不会给我们任何喘息的机会就会将系统压跨。而对于一些虽然需要消耗大量 IO 而且响应很慢的 SQL，由于频率低，即使遇到，最多就是让整个系统响应慢一点，但至少可能撑一会儿，让我们有缓冲的机会。
  10. 从全局出发优化，而不是片面调整
      SQL 优化不能是单独针对某一个进行，而应充分考虑系统中所有的 SQL，尤其是在通过调整索引优化 SQL 的执行计划的时候，千万不能顾此失彼，因小失大。
  11. 尽可能对每一条运行在数据库中的SQL进行 explain
      优化 SQL，需要做到心中有数，知道 SQL 的执行计划才能判断是否有优化余地，才能判断是否存在执行计划问题。在对数据库中运行的 SQL 进行了一段时间的优化之后，很明显的问题 SQL 可能已经很少了，大多都需要去发掘，这时候就需要进行大量的 explain 操作收集执行计划，并判断是否需要进行优化。

硬件瓶颈分析

• 主机
  • CPU：仅仅只能决定运算速度，及时是运算速度都还取决于与内存之间的总线带宽以及内存本身的速度
  • 内存：大小决定了所能缓存的数据量，主要决定了热点数据的访问速度
  • 磁盘：
    • 大小：决定了你最终能存放多少数据量
    • 转速：决定了你每一次IO请求的延时时间，也就是决定了我们常说的IOPS和MBPS
    • 数目：磁盘数目决定了
    • 类型
      • 机械：SAS or SATA or FC ？
      • SSD：磁盘 or PCI卡？
  • Raid卡：
    • 缓存：缓存大小对数据写入速度有较大影响，使用策略也会直接影响IO效率
    • 电池：电池充放电策略会影响到瞬时IO的波动
  • 其他：如总线带宽等，决定了CPU与内存间数据传输效率，这一点很多时候关注较少，但也可能会出现瓶颈
• 存储
  • 内存：存储设备同样也有内存，用来存储前端主机访问的热点数据。存储的内存大小同样决定了热点数据的访问速度
  • 磁盘：和主机磁盘类似
  • 线路/环路带宽：环路带宽必须能够匹配磁盘带宽，至少不能少于磁盘所能输出的能力，否则就想被堵在高速收费站等待通行的车辆一样
• 网络
  • 延时：不同的网络设备其延时会有差异，对于 OLTP 设备来说，延时自然是越小越好
  • 吞吐量：对于数据库集群来说，各个节点之间的网络吞吐量可能直接决定集群的处理能力
  • iops：对于 OLTP 系统，数据传输更多是以小IO多并发方式，有时候光有大带宽并不一定能满足需求

硬件角度所能提供的处理能力，一定是上面所列的多个方面（这里仅仅只是主要部分，可能还有其他）共同决定的整体能力，任何一个方面出现瓶颈，都能导致整体性能上不去，也就是我们常说的木桶原理。

在以往的经验中，最容易出现性能瓶颈的地方主要会出现在以下几个方面：

• IO资源方面瓶颈
  出现 IO 资源方面瓶颈的时候，主要表现在服务器 iowait 很高，usr 占比较少，系统响应较慢，数据库中经常会存在大量执行状态的 session。
  遇到 IO 资源方面的瓶颈，我们可以使用的硬件层面优化方案主要就是：

   

  • 增加内存加大可缓存的数据量：这个方案能否达到效果取决于系统热点数据的总量，毕竟内存的成本也是比较高的，而且单台设备所能管理的内存量也是有限的
  • 改善底层存储设备的 IO 能力：如本文前面所述，底层存储能力的改善同时取决于多个方面，既有单个磁盘本身的能力问题，也包括磁盘数目方面的策略，同时还受到存储自身以及存储和主 机之间的带宽限制。所以在优化底层存储能力的同时需要同时考虑到这3方面的因素，做好总体分析和局部的平衡
• CPU资源方面瓶颈
  当 CPU 方面资源遇到瓶颈的时候，主要表现在服务器CPU利用率中 usr 所占比例很高，iowait却很小。这类问题大多出现在数据量并不是太大，同时又有足够内存来对数据进行缓存的应用场景。同时也是目前大多数中小网站所面临的数据库性能瓶颈。
  当遇到 CPU 方面的资源瓶颈的时候，可能由两个方面造成：

   

  • 过多依赖数据库进行逻辑运算：对于这种状况，最好的优化方式是将运算尽可能从数据库端迁移到应用端，降低数据库主机的计算量。毕竟对有状态的系统 设备（数据库）进行扩容的成本远高于无状态类系统设备（应用）。当然如果非要从数据库端的硬件来解决问题，那就只有通过增加设备CPU数目（如果支持）， 或者是使用CPU能力更为高端的主机来替换老主机
  • 数据库逻辑IO太大：对于这类状况，从硬件角度来说能做的就只有提升CPU处理能力。要么增加 CPU 数目（如果支持），要么换CPU更强劲的主机。但是在这之前，还是建议先尝试从应用角度优化看看是否能够尽量降低非必要请求或者是减少每次请求的数据量。 同时从数据库角度针对 Schema结构以及索引进行相应的优化调整，尽可能让完成一次请求所需要检索的数据量更小，从而达到降低逻辑IO的目的
• 网络资源方面的瓶颈
  一般来说应用与数据库之间的网络交互所需的资源并不是非常大，所以这个环境遇到瓶颈的可能并不是非常大。但是在分布式的集群环境中，各个数据库节点之间的网络环境经常会称为系统的瓶颈。
  比较常见的场景如 MySQL Cluster 或者是 Oracle RAC 环境中，节点之间的数据交换网络环境的优劣可能直接影响到系统的整体处理能力，因为在节点间会存在大量的数据交换，都是依赖网络传输来完成。
  在这样的场景中，廉价一点的解决方案是通过 万兆交换机 来替换现在常用的 千兆交换机 来提升网络处理能力降低网络延时。不过这个方案主要提升的是吞吐量方面，对于延时方面的提升可能并不一定能满足某些要求非常高的场景。这时候就该考虑使用更为昂贵但也更高效的方案：用 Infiniband 替换普通交换机来极大的降低网络方面所带来的数据交换延时。

以上仅仅只针对主要类型的硬件资源瓶颈做了一些分析和相应可能的处理方式，欢迎大家一起探讨，也可以包括目前比较“热”的SSD。后面我可能还会再写一篇关于 SSD 的文章，国内接触 SSD 并将之正式用于核心产品环境的，可能比我更早人还是比较少的。

 

 

存储引擎选择

• MyISAM
  • 特性
    1. 不支持事务：MyISAM存储引擎不支持事务，所以对事务有要求的业务场景不能使用
    2. 表级锁定：其锁定机制是表级索引，这虽然可以让锁定的实现成本很小但是也同时大大降低了其并发性能
    3. 读写互相阻塞：不仅会在写入的时候阻塞读取，MyISAM还会在读取的时候阻塞写入，但读本身并不会阻塞另外的读
    4. 只会缓存索引：MyISAM可以通过key_buffer缓存以大大提高访问性能减少磁盘IO，但是这个缓存区只会缓存索引，而不会缓存数据
  • 适用场景
    1. 不需要事务支持（不支持）
    2. 并发相对较低（锁定机制问题）
    3. 数据修改相对较少（阻塞问题）
    4. 以读为主
    5. 数据一致性要求不是非常高
  • 最佳实践
    1. 尽量索引（缓存机制）
    2. 调整读写优先级，根据实际需求确保重要操作更优先
    3. 启用延迟插入改善大批量写入性能
    4. 尽量顺序操作让insert数据都写入到尾部，减少阻塞
    5. 分解大的操作，降低单个操作的阻塞时间
    6. 降低并发数，某些高并发场景通过应用来进行排队机制
    7. 对于相对静态的数据，充分利用Query Cache可以极大的提高访问效率
    8. MyISAM的Count只有在全表扫描的时候特别高效，带有其他条件的count都需要进行实际的数据访问
• InnoDB
  • 特性
    1. 具有较好的事务支持：支持4个事务隔离级别，支持多版本读
    2. 行级锁定：通过索引实现，全表扫描仍然会是表锁，注意间隙锁的影响
    3. 读写阻塞与事务隔离级别相关
    4. 具有非常高效的缓存特性：能缓存索引，也能缓存数据
    5. 整个表和主键以Cluster方式存储，组成一颗平衡树
    6. 所有Secondary Index都会保存主键信息
  • 适用场景
    1. 需要事务支持（具有较好的事务特性）
    2. 行级锁定对高并发有很好的适应能力，但需要确保查询是通过索引完成
    3. 数据更新较为频繁的场景
    4. 数据一致性要求较高
    5. 硬件设备内存较大，可以利用InnoDB较好的缓存能力来提高内存利用率，尽可能减少磁盘 IO
  • 最佳实践
    1. 主键尽可能小，避免给Secondary index带来过大的空间负担
    2. 避免全表扫描，因为会使用表锁
    3. 尽可能缓存所有的索引和数据，提高响应速度
    4. 在大批量小插入的时候，尽量自己控制事务而不要使用autocommit自动提交
    5. 合理设置innodb_flush_log_at_trx_commit参数值，不要过度追求安全性
    6. 避免主键更新，因为这会带来大量的数据移动
• NDBCluster
  • 特性
    1. 分布式：分布式存储引擎，可以由多个NDBCluster存储引擎组成集群分别存放整体数据的一部分
    2. 支持事务：和Innodb一样，支持事务
    3. 可与mysqld不在一台主机：可以和mysqld分开存在于独立的主机上，然后通过网络和mysqld通信交互
    4. 内存需求量巨大：新版本索引以及被索引的数据必须存放在内存中，老版本所有数据和索引必须存在与内存中
  • 适用场景
    1. 具有非常高的并发需求
    2. 对单个请求的响应并不是非常的critical
    3. 查询简单，过滤条件较为固定，每次请求数据量较少，又不希望自己进行水平Sharding
  • 最佳实践
    1. 尽可能让查询简单，避免数据的跨节点传输
    2. 尽可能满足SQL节点的计算性能，大一点的集群SQL节点会明显多余Data节点
    3. 在各节点之间尽可能使用万兆网络环境互联，以减少数据在网络层传输过程中的延时

注：以上三个存储引擎是目前相对主流的存储引擎，还有其他类似如：Memory，Merge，CSV，Archive等存储引擎的使用场景都相对较少，这里就不一一分析了，如果有朋友感兴趣，后面再补充吧。

 

 

索引优化

• 索引为什么能提高数据访问性能？
  很多人只知道索引能够提高数据库的性能，但并不是特别了解其原理，其实我们可以用一个生活中的示例来理解。

   

  我们让一位不太懂计算机的朋友去图书馆确认一本叫做《MySQL性能调优与架构设计》的书是否在藏，这样对他说：“请帮我借一本计算机类的数据库书 籍，是属于 MySQL 数据库范畴的，叫做《MySQL性能调优与架构设计》”。朋友会根据所属类别，前往存放“计算机”书籍区域的书架，然后再寻找“数据库”类存放位置，再找 到一堆讲述“MySQL”的书籍，最后可能发现目标在藏（也可能已经借出不在书架上）。

  在这个过程中： “计算机”->“数据库”->“MySQL”->“在藏”->《MySQL性能调优与架构设计》其实就是一个“根据索引查找数 据”的典型案例，“计算机”->“数据库”->“MySQL”->“在藏” 就是朋友查找书籍的索引。

  假设没有这个索引，那查找这本书的过程会变成怎样呢？朋友只能从图书馆入口一个书架一个书架的“遍历”，直到找到《MySQL性能调优与架构设计》 这本书为止。如果幸运，可能在第一个书架就找到。但如果不幸呢，那就惨了，可能要将整个图书馆所有的书架都找一遍才能找到我们想要的这本书。

  注：这个例子中的“索引”是记录在朋友大脑中的，实际上，每个图书馆都会有一个非常全的实际存在的索引系统（大多位于入口显眼处），由很多个贴上了 明显标签的小抽屉构成。这个索引系统中存放这非常齐全详尽的索引数据，标识出我们需要查找的“目标”在某个区域的某个书架上。而且每当有新的书籍入库，旧 的书籍销毁以及书记信息修改，都需要对索引系统进行及时的修正。

下面我们通过上面这个生活中的小示例，来分析一下索引，看看能的出哪些结论？

• 索引有哪些“副作用”？
  1. 图书的变更（增，删，改）都需要修订索引，索引存在额外的维护成本
  2. 查找翻阅索引系统需要消耗时间，索引存在额外的访问成本
  3. 这个索引系统需要一个地方来存放，索引存在额外的空间成本
• 索引是不是越多越好？
  1. 如果我们的这个图书馆只是一个进出中转站，里面的新书进来后很快就会转发去其他图书馆而从这个馆藏中“清除”，那我们的索引就只会不断的修改，而很少会被用来查找图书
     所以，对于类似于这样的存在非常大更新量的数据，索引的维护成本会非常高，如果其检索需求很少，而且对检索效率并没有非常高的要求的时候，我们并不建议创建索引，或者是尽量减少索引。
  2. 如果我们的书籍量少到只有几本或者就只有一个书架，索引并不会带来什么作用，甚至可能还会浪费一些查找索引所花费的时间。
     所以，对于数据量极小到通过索引检索还不如直接遍历来得快的数据，也并不适合使用索引。
  3. 如果我们的图书馆只有一个10平方的面积，现在连放书架都已经非常拥挤，而且馆藏还在不断增加，我们还能考虑创建索引吗？
     所以，当我们连存储基础数据的空间都捉襟见肘的时候，我们也应该尽量减少低效或者是去除索引。
• 索引该如何设计才高效？
  1. 如果我们仅仅只是这样告诉对方的：“帮我确认一本数据库类别的讲述 MySQL 的叫做《MySQL性能调优与架构设计》的书是否在藏”，结果又会如何呢？朋友只能一个大类区域一个大类区域的去寻找“数据库”类别，然后再找到 “MySQL”范畴，再看到我们所需是否在藏。由于我们少说了一个“计算机类”，朋友就必须到每一个大类去寻找。
     所以，我们应该尽量让查找条件尽可能多的在索引中，尽可能通过索引完成所有过滤，回表只是取出额外的数据字段。
  2. 如果我们是这样说的：“帮我确认一本讲述 MySQL 的数据库范畴的计算机丛书，叫做《MySQL性能调优与架构设计》，看是否在藏”。如果这位朋友并不知道计算机是一个大类，也不知道数据库属于计算机大 类，那这位朋友就悲剧了。首先他得遍历每个类别确认“MySQL”存在于哪些类别中，然后从包含 “MySQL” 书籍中再看有哪些是“数据库”范畴的（有可能部分是讲述PHP或者其他开发语言的），然后再排除非计算机类的（虽然可能并没有必要），然后才能确认。
     所以，字段的顺序对组合索引效率有至关重要的作用，过滤效果越好的字段需要更靠前。
  3. 如果我们还有这样一个需求（虽然基本不可能）：“帮我将图书馆中所有的计算机图书借来”。朋友如果通过索引来找，每次都到索引柜找到计算机书籍所 在的区域，然后从书架上搬下一格（假设只能以一格为单位从书架上取下，类比数据库中以block/page为单位读取），取出第一本，然后再从索引柜找到 计算机图书所在区域，再搬下一格，取出一本… 如此往复直至取完所有的书。如果他不通过索引来找又会怎样呢？他需要从地一个书架一直往后找，当找到计算机的书，搬下一格，取出所有计算机的书，再往后， 直至所有书架全部看一遍。在这个过程中，如果计算机类书籍较多，通过索引来取所花费的时间很可能要大于直接遍历，因为不断往复的索引翻阅所消耗的时间会非 常长。（延伸阅读：这里有一篇以前写的关于Oracle的文章，索引扫描还是全表扫描（Index Scan Or Full Table Scan））
     所以，当我们需要读取的数据量占整个数据量的比例较大抑或者说索引的过滤效果并不是太好的时候，使用索引并不一定优于全表扫描。
  4. 如果我们的朋友不知道“数据库”这个类别可以属于“计算机”这个大类，抑或者图书馆的索引系统中这两个类别属性并没有关联关系，又会怎样呢？也就 是说，朋友得到的是2个独立的索引，一个是告知“计算机”这个大类所在的区域，一个是“数据库”这个小类所在的区域（很可能是多个区域），那么他只能二者 选其一来搜索我的需求。即使朋友可以分别通过2个索引检索然后自己在脑中取交集再找，那这样的效率实际过程中也会比较低下。
     所以，在实际使用过程中，一次数据访问一般只能利用到1个索引，这一点在索引创建过程中一定要注意，不是说一条SQL语句中Where子句里面每个条件都有索引能对应上就可以了。