`
gaozzsoft
  • 浏览: 426963 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类

MySQL 的性能-SQL 执行分析(转)

 
阅读更多

后端开发必然会接触到数据库,数据层的优劣会影响整个服务的响应时间。所以,数据库的优化技巧是必须掌握的,下面就是我在学习过程中整理的,备忘。

下面为上篇内容,分为以下部分:

  • 一、SQL 执行时间分析
  • 二、SQL 执行情况分析

一、SQL 执行时间分析

通过找到执行时间长的 SQL 语句,可以直观的发现数据层的效率问题。

1.通过 show processlist 来查看系统的执行情况

mysql> show processlist;
+----+------+-----------+------+---------+------+-------+------------------+
| Id | User | Host      | db   | Command | Time | State | Info             |
+----+------+-----------+------+---------+------+-------+------------------+
|  2 | root | localhost | NULL | Query   |    0 | init  | show processlist |
+----+------+-----------+------+---------+------+-------+------------------+
1 row in set (0.01 sec)

2.通过 profiling 来进行查看

这个命令是查看 SQL 的执行时间,能很直观的看出快慢。

2.1 查看 profiling 是否开启

0 代表还是关闭着分析功能

mysql> select @@profiling;
+-------------+
| @@profiling |
+-------------+
|           0 |
+-------------+

2.2 打开工具

mysql> set profiling=1;
Query OK, 0 rows affected, 1 warning (0.01 sec)

mysql> select @@profiling;
+-------------+
| @@profiling |
+-------------+
|           1 |
+-------------+

2.3 查看 SQL 的执行时间

mysql> show profiles;
+----------+------------+----------------------------+
| Query_ID | Duration   | Query                      |
+----------+------------+----------------------------+
|        1 | 0.00173700 | select * from ip           |
|        2 | 0.00057500 | select porxy, port from ip |
+----------+------------+----------------------------+

2.4 查看 SQL 执行耗时详细信息

语法:show profile for query Query_ID

mysql> show profile for query 1;
+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000073 |
| checking permissions | 0.000031 |   ---检查是否在缓存中  
| Opening tables       | 0.000207 |   ---打开表
| init                 | 0.000067 |   ---初始化
| System lock          | 0.000040 |   ---锁系统
| optimizing           | 0.000005 |   ---优化查询
| statistics           | 0.000021 |
| preparing            | 0.000015 |   ---准备
| executing            | 0.000003 |   ---执行
| Sending data         | 0.000993 |
| end                  | 0.000006 |
| query end            | 0.000007 |
| closing tables       | 0.000011 |
| freeing items        | 0.000169 |
| cleaning up          | 0.000089 |
+----------------------+----------+

以上具体的信息都是从 INFORMATION_SCHEMA.PROFILING 这张表中取得的。这张表记录了所有的各个步骤的执行时间及相关信息。语法:
select * from INFORMATION_SCHEMA.PROFILING where query_id = Query_ID;

3.慢查询日志

MySQL 的慢查询日志,顾名思义就是把执行时间超过设定值(默认为10s)的 SQL 记录到日志中。这项功能需要手动开启,但是开启后会造成一定的性能损耗。

3.1 查看慢日志是否开启

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启。语法:set global slow_query_log=1

mysql> show variables  like '%slow_query_log%';
+---------------------+------------------------------------------------------+
| Variable_name       | Value                                                |
+---------------------+------------------------------------------------------+
| slow_query_log      | OFF                                                  |
| slow_query_log_file | /usr/local/var/mysql/xueweihandeMacBook-Air-slow.log |
+---------------------+------------------------------------------------------+
2 rows in set (0.11 sec)

mysql> set global slow_query_log=1;
Query OK, 0 rows affected (0.03 sec)

mysql> show variables  like '%slow_query_log%';
+---------------------+------------------------------------------------------+
| Variable_name       | Value                                                |
+---------------------+------------------------------------------------------+
| slow_query_log      | ON                                                   |
| slow_query_log_file | /usr/local/var/mysql/xueweihandeMacBook-Air-slow.log |
+---------------------+------------------------------------------------------+

3.2 设置超时时间

  • 设置语法:set global long_query_time=4
  • 查看语法:show variables like 'long_query_time'

注意:修改后,需要重新连接或新开一个会话才能看到修改值。

永久生效,修改 my.cnf

slow_query_log=1
long_query_time=10
slow_query_log_file=/path/mysql_slow.log

3.3 其他参数

3.3.1 log_output

参数是指定日志的存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。

3.3.2 log-queries-not-using-indexes

未使用索引的查询也被记录到慢查询日志中(可选项)。如果调优的话,建议开启这个选项。另外,开启了这个参数,其实使用full index scan的sql也会被记录到慢查询日志。

3.3.3 log_slow_admin_statements

表示是否将慢管理语句例如ANALYZE TABLE和ALTER TABLE等记入慢查询日志

3.4 分析工具 mysqldumpslow

MySQL 提供了慢日志分析工具 mysqldumpslow。

  • -s 表示按照何种方式排序;
    • c: 访问计数
    • l: 锁定时间
    • r: 返回记录
    • t: 查询时间
    • al:平均锁定时间
    • ar:平均返回记录数
    • at:平均查询时间
  • -t 是top n的意思,即为返回前面多少条的数据;
  • -g 后边可以写一个正则匹配模式,大小写不敏感的;

3.4.1 命令示例

  • 得到返回记录集最多的 10 个 SQL:mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log

  • 得到访问次数最多的 10 个 SQL:mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log

  • 得到按照时间排序的前10条里面含有左连接的查询语句:mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log

  • 另外建议在使用这些命令时结合 | 和 more 使用 ,否则有可能出现刷屏的情况:mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more

二、SQL 执行情况分析

使用 explain 分析 SQL 执行情况。

explain select * from ip;

+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | ip    | ALL  | NULL          | NULL | NULL    | NULL |  400 | NULL  |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
select_type table type possible_keys key key_len rows Extra
表示查询的类型 输出结果集的表 表示表的连接类型 表示查询时,可能使用的索引 表示实际使用的索引 索引字段的长度 扫描出的行数(估算的行数) 执行情况的描述和说明

 

 

下面为下篇内容,分为以下部分:

  • 一、创建表时的性能优化
  • 二、设计表时的性能优化
  • 三、优化 SQL 语句
  • 四、其它

一、创建表时的性能优化

1. 永远为每张表设置一个 ID

每张表都应该设置一个 ID 字段为主键,该主键应为 INT 或 UNSIGNED 类型,并设置上自动增加的 AUTO_INCREMENT 标志。因为使用 VARCHAR 类型的主键,会使得性能下降。

这里,只有一个情况是例外,那就是 “关联表” 的 “外键”,也就是说,这个表的主键,通过若干个别的表的主键构成。我们把这个情况叫做 “外键”。比如:有一个 “学生表” 有学生的 ID,有一个 “课程表” 有课程 ID,那么,“成绩表” 就是 “关联表” 了,其关联了学生表和课程表,在成绩表中,学生 ID 和课程 ID 叫 “外键” 其共同组成主键

2. 为搜索字段建索引

详情见我之前的文章:MySQL 索引

3. 使用 ENUM 而不是 VARCHAR

ENUM 类型是非常快和紧凑的。在实际上,其保存的是 TINYINT,但其外表上显示为字符串。这样一来,用这个字段来做一些选项列表变得相当的完美。

如果你有一个字段,比如 “国家”,你知道这些字段的取值是有限而且固定的,那么,你应该使用 ENUM 而不是 VARCHAR。

ENUM 是 MySQL 数据库特有的字段类型,使用后会影响迁移到其它数据库。所以,如果以后又改数据库的情况,一定要慎用

4. 尽可能的使用 NOT NULL

应该总是让你的字段保持 NOT NULL,因为这样节省空间(NULL 也是需要空间的)。

5. 把IP地址存成 UNSIGNED INT

如果使用整形来存放 IP 而不是 VARCHAR(15) 字段,节省了很多的空间(需要写一个 IP 转换的函数)。

二、设计表时的性能优化

1. 选择正确的存储引擎

MyISAM 适合于一些需要大量查询的应用,但其对于有大量写操作并不是很好。甚至你只是需要 update 一个字段,整个表都会被锁起来,而别的进程,就算是读进程都无法操作直到读操作完成。另外,MyISAM 对于 SELECT COUNT(*) 这类的计算是超快无比的。

InnoDB 的趋势会是一个非常复杂的存储引擎,对于一些小的应用,它会比 MyISAM 还慢。他是它支持“行锁” ,于是在写操作比较多的时候,会更优秀。并且,他还支持更多的高级应用,比如:事务。

2. 固定长度的表会更快

表中没有如下类型的字段: VARCHAR,TEXT,BLOB。只要你包括了其中一个这些字段,那么这个表就不是“固定长度静态表”了,这样,MySQL 引擎会用另一种方法来处理。

固定长度的表会提高性能,因为 MySQL 搜寻得会更快一些,因为这些固定的长度是很容易计算下一个数据的偏移量的,所以读取的自然也会很快。而如果字段不是定长的,那么,每一次要找下一条的话,需要程序找到主键。

并且,固定长度的表也更容易被缓存和重建。不过,唯一的副作用是,固定长度的字段会浪费一些空间,因为定长的字段无论你用不用,他都是要分配那么多的空间。

使用“垂直分割”技术(见下一条),你可以分割你的表成为两个一个是定长的,一个则是不定长的。

3. 垂直分割

“垂直分割”是一种把数据库中的表按列变成几张表的方法,这样可以降低表的复杂度和字段的数目,从而达到优化的目的。(以前,在银行做过项目,见过一张表有100多个字段,很恐怖)

示例一:在Users表中有一个字段是家庭地址,这个字段是可选字段,相比起,而且你在数据库操作的时候除了个人信息外,你并不需要经常读取或是改写这个字段。那么,为什么不把他放到另外一张表中呢? 这样会让你的表有更好的性能,大家想想是不是,大量的时候,我对于用户表来说,只有用户ID,用户名,口令,用户角色等会被经常使用。小一点的表总是会有好的性能。

示例二: 你有一个叫 “last_login” 的字段,它会在每次用户登录时被更新。但是,每次更新时会导致该表的查询缓存被清空。所以,你可以把这个字段放到另一个表中,这样就不会影响你对用户ID,用户名,用户角色的不停地读取了,因为查询缓存会帮你增加很多性能。

另外,你需要注意的是,这些被分出去的字段所形成的表,你不会经常性地去Join他们,不然的话,这样的性能会比不分割时还要差,而且,会是极数级的下降。

三、优化 SQL 语句

1. 使用查询缓存

1.1 查看是否开启缓存:

mysql> select @@query_cache_type;
+--------------------+
| @@query_cache_type |
+--------------------+
| ON                 |
+--------------------+

开启缓存,修改 my.cnf,在末尾加入,重启MySQL生效

query_cache_type = 1
query_cache_size = 600000

1.2 为查询缓存优化你的查询

// 查询缓存不开启
r = mysql_query("SELECT username FROM user WHERE signup_date >= CURDATE()");

// 开启查询缓存
today = date("Y-m-d");
r = mysql_query("SELECT username FROM user WHERE signup_date >= '%s'" % today);

上面两条 SQL 语句的差别就是 CURDATE(),MySQL 的查询缓存对这个函数不起作用。所以,像 NOW() 和 RAND() 或是其它的诸如此类的 SQL 函数都不会开启查询缓存,因为这些函数的返回是会不定的易变的。所以,你所需要的就是用一个变量来代替 MySQL 的函数,从而开启缓存

2. 当只要一行数据时使用 LIMIT 1

在这种情况下,加上 LIMIT 1 可以增加性能。这样一样,MySQL 数据库引擎会在找到一条数据后停止搜索,而不是继续往后查少下一条符合记录的数据。

3. 在 JOIN 表的时候使用相当类型的例,并将其索引

如果有很多 JOIN 的操作,JOIN 的字段应该加索引,同时保证这些字段的类型一致

4. 避免 SELECT *

从数据库里读出越多的数据,那么查询就会变得越慢。所以,应该养成需要什么就取什么的好的习惯

5. 拆分大的 DELETE 或 INSERT 语句

如果你需要在一个在线的网站上去执行一个大量的 DELETE 或 INSERT 查询,你需要非常小心,要避免你的操作让你的整个网站停止相应。因为这两个操作是会锁表的,表一锁住了,别的操作都进不来了。

执行这种大量的 DELETE 和 INSERT,可以分成几部分执行,没执行一部分就暂停一下再执行。

四、其它

1. EXPLAIN 你的 SELECT 查询

使用 EXPLAIN 关键字可以让你知道 MySQL 是如何处理你的 SQL 语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。

查看 rows 列可以让我们找到潜在的性能问题。

2. 从 PROCEDURE ANALYSE() 取得建议

PROCEDURE ANALYSE() 会让 MySQL 帮你去分析你的字段和其实际的数据,并会给你一些有用的建议(只是建议)。只有表中有实际的数据,这些建议才会变得有用,因为要做一些大的决定是需要有数据作为基础的。

mysql> select * from charac procedure analyse()
*************************** 1. row ***************************
Field_name: world.charac.charac
Min_value: A
Max_value: E
Min_length: 1
Max_length: 1
Empties_or_zeros: 0
Nulls: 0
Avg_value_or_avg_length: 1.0000
Std: NULL
Optimal_fieldtype: ENUM('A','B','C','D','E') NOT NULL
1 row in set (0.00 sec)

3. 使用连接池和 ORM

参考

from:http://www.cnblogs.com/xueweihan/ 

分享到:
评论

相关推荐

    jdbc-mysql-connector-j-8.0.31.jar jdbc-sqljdbc41.jar

    这个驱动程序使得Java应用程序能够与MySQL数据库进行交互,执行SQL查询、事务处理等操作。JDBC(Java Database Connectivity)是Java平台中的一种标准API,它允许Java程序通过编写Java代码来访问各种类型的数据库。...

    mysql-connector-java-8.0.11

    - **SQL执行**:通过Statement和PreparedStatement对象执行SQL语句,支持预编译的参数化查询,提高效率并防止SQL注入攻击。 - **事务处理**:支持事务的开始、提交和回滚。 - **结果集处理**:获取和遍历查询结果...

    mysql-connector-java-5.1.40.zip和mysql-connector-java-5.1.10.jar

    在本例中,该JAR文件包含了实现JDBC驱动所需的类和资源,使得Java程序能够连接到MySQL数据库,执行SQL查询,操作数据等。 MySQL Connector/J的工作原理: 1. **连接建立**:当Java应用程序需要访问MySQL数据库时,...

    mysql深度学习者 MySQL架构与SQL执行流程

    MySQL 架构与 SQL 执行流程是 MySQL 数据库的核心组件,它们之间的交互关系决定了 MySQL 数据库的性能和可靠性。本篇文章将深入浅出 MySQL 架构和 SQL 执行流程,帮助读者更好地理解 MySQL 数据库的内部机理和工作...

    mysql-connector-java-5.0.3.zip

    MySQL Connector/J 5.0.3版本可能包含了一些特定的改进和修复,比如性能优化、新的功能支持或者对旧版MySQL服务器的兼容性增强。不过,由于具体细节没有给出,我们无法详细阐述这些变更。对于使用这个版本的开发者来...

    mysql-connector-java-5.1.37.rar

    1. `mysql-connector-java-5.1.37.jar`:这是主驱动文件,包含了所有必要的类和方法,使得Java应用程序能够与MySQL数据库建立连接,执行SQL语句,并处理结果。例如,使用`DriverManager.getConnection()`方法创建...

    mysql连接包mysql-connector-java-5.1.27.jar

    3. **SQL执行**:一旦建立了连接,可以创建`Statement`对象来执行SQL查询或更新。例如: ```java Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery("SELECT * FROM mytable"); ``` ...

    mysql-connector-java-5.1.25, mysql 5.7.31亲测有效

    3. MySQL 5.7.31特性:MySQL 5.7版本引入了许多改进和新功能,包括InnoDB存储引擎的性能优化、JSON数据类型的支持、增强的性能分析工具、更好的备份和恢复选项,以及对SSL连接的强制支持等。 4. 兼容性和版本选择:...

    ojdbc14+sqljdbc4-2.0+mysql-connector-java-5.1.41

    总之,ojdbc14、sqljdbc4-2.0和mysql-connector-java-5.1.41是Java应用程序(如Kettle)与Oracle、SQL Server和MySQL数据库进行交互的基础,它们在数据集成、数据分析等场景中扮演着关键角色。在使用过程中,务必...

    mysql-shell:mysql-shell-8.4.0-windows-x86-64bit.zip

    6. **性能分析**:内置的性能顾问模块可以分析查询性能,提供改进建议,帮助优化数据库性能。 7. **安全特性**:支持SSL连接,确保数据传输的安全性;此外,它还提供了身份验证插件管理,便于配置和管理用户权限。 ...

    5 MySQL驱动-mysql-connector-java-5.1.38-bin.jar

    这个JAR(Java Archive)文件包含了所有必要的类和资源,使得Java开发者能够通过Java Database Connectivity (JDBC) API连接到MySQL服务器,执行SQL查询,处理结果集,以及进行其他数据库操作。 首先,了解JDBC是...

    mysql面试题-mysql经典面试题目-数据库的基本概念-SQL语法-事务处理-索引优化-性能调优-mysql-面试题目

    【MySQL面试题】在面试MySQL相关的职位时,面试官可能会问到一系列关于数据库基础、SQL语法、事务处理、索引优化以及性能调优的问题。以下是一些可能的面试重点: 1. **数据库基本概念**: - 数据库是用于存储和...

    mysql-connector-java-8.0.23.jar

    2. **SQL语句执行**:允许执行SQL查询、插入、更新、删除等操作。 3. **事务处理**:支持ACID(原子性、一致性、隔离性和持久性)特性,确保数据的一致性和完整性。 4. **结果集处理**:返回查询结果,并提供遍历、...

    mysql-connector-java-5.1.44

    `Statement`接口用于执行静态SQL语句,而`PreparedStatement`用于预编译SQL语句,提高性能并防止SQL注入攻击。例如: ```java Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(...

    benchmarksql-5.0-mysql-support-opt.zip

    总之,"benchmarksql-5.0-mysql-support-opt.zip"是针对MySQL优化的BenchmarkSQL版本,它使MySQL用户能够利用这个强大的工具评估其数据库系统的性能。通过理解其核心改动和使用流程,我们可以更有效地利用这个工具,...

    mysql-connector-java-5.1.49.jar

    MySQL Connector/J 5.1.49 是一个用于Java应用程序的数据库驱动程序,它使得Java开发者能够连接到MySQL数据库服务器并执行SQL操作。这个jar文件是MySQL官方提供的,确保了与MySQL服务器的兼容性和稳定性。在Java环境...

    Mysql数据库驱动mysql-connector-java-5.1.41-bin.jar

    - SQL执行:支持执行各种SQL语句,包括SELECT、INSERT、UPDATE、DELETE等。 - 编码处理:自动处理字符编码问题,确保数据正确传输。 - 事务处理:支持ACID(原子性、一致性、隔离性、持久性)事务特性。 - 其他...

    mysql-connector-java-8.0.20.jar

    `mysql-connector-java-8.0.20.jar`是MySQL Connector/J的特定版本,它实现了这些JDBC接口,使得Java开发者可以方便地在代码中执行SQL查询、操作数据以及管理数据库连接。 在MySQL 8.0版本中,引入了许多新特性、...

    mybatis框架压缩包及MySQL驱动包mysql-connector-java-5.1.37-bin.jar

    - Executor执行器:MyBatis内部处理SQL执行的核心组件,有简单执行器、复用执行器和批处理执行器三种类型。 2. MySQL驱动包mysql-connector-java-5.1.37-bin.jar: 这个JAR文件是MySQL官方提供的Java连接器,用于...

    MySQL-connector-java-8.0.28

    这个JAR文件包含了所有必要的类和方法,用于建立、管理和关闭与MySQL服务器的连接,执行SQL查询和处理结果集。 使用MySQL Connector/J的过程主要包括以下步骤: 1. 导入所需的JDBC类:通常,我们需要导入java.sql....

Global site tag (gtag.js) - Google Analytics