- 浏览: 309674 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
fanlei77:
很有用,谢谢
git branch -
han1051:
123123
Spring框架下PropertyPlaceholderConfigurer类 -
wangbing9577:
言简意赅。
代理模式 适配器模式 与 外观模式 区别 比较 特点 -
azheng270:
用户和权限为什么会有直接连线
通用权限管理系统设计篇(一) -
cectsky:
nice,i know ,thank you ~
Spring框架下PropertyPlaceholderConfigurer类
MySQL Server 日常維護: Log 分析(mysqlsla)
在之前的文章中已有提過如何利用 mysqlreport 這套工具來掌握 MySQL 目前的運作狀況(MySQL 效能監控工具--mysqlreport),它可以協助我們瞭解 MySQL Server 的健康狀況以及 MySQL Server 大部份時間在處理什麼類型的 Query,但還有一個關鍵的問題沒有回答,就是在那些特定類型的 Query 中,MySQL 實際上到底是把 CPU 運算時間花在哪些 Query 上?若想要回答這個問題就必須要分析 MySQL 的 Log 才能得知。
大致上來說,MySQL 提供三大類的 LOG:
藉由分析 General Log,我們可以清楚的得知 MySQL Server 最常執行的 Query 有哪些;觀察 Slow Log 則可以讓我們得知到底是哪些 Query 造成 MySQL Server 效能低落。知道了這些資訊以後我們才有辦法對 MySQL Server 進行進一步的調整與最佳化,例如以適當的 Index 提高 MySQL 最常執行的 Query 的效率,或是去除造成 Slow Query 的成因(poor index, join...等)。視您的 MySQL Server 的忙錄狀態而定,您的 General Log(或 Slow Log) 有可能會非常的龐大,要以肉眼來分析是一項不可能的任務,比較實際的作法是自己撰寫 Scripts 去進行 Log 分析。若您不想花時間自行開發程式,不妨試試由 Daniel Nichter 所提供的 mysqlsla。
官方網站: http://hackmysql.com/
軟體下載: http://hackmysql.com/mysqlsla
Log 分析步驟:
MySQL Server Log 分析
一、開啟 MySQL Server 的 General Log 與 Slow Log
二、以 mysqlsla 分析 Log 檔案
在之前的文章中已有提過如何利用 mysqlreport 這套工具來掌握 MySQL 目前的運作狀況(MySQL 效能監控工具--mysqlreport),它可以協助我們瞭解 MySQL Server 的健康狀況以及 MySQL Server 大部份時間在處理什麼類型的 Query,但還有一個關鍵的問題沒有回答,就是在那些特定類型的 Query 中,MySQL 實際上到底是把 CPU 運算時間花在哪些 Query 上?若想要回答這個問題就必須要分析 MySQL 的 Log 才能得知。
大致上來說,MySQL 提供三大類的 LOG:
- Binary Log:記錄所有對於資料庫的修改操作
- General Log:記錄所有 Client 發送到 Server 的 Query
- Slow Log:記錄所有的 Slow Query
藉由分析 General Log,我們可以清楚的得知 MySQL Server 最常執行的 Query 有哪些;觀察 Slow Log 則可以讓我們得知到底是哪些 Query 造成 MySQL Server 效能低落。知道了這些資訊以後我們才有辦法對 MySQL Server 進行進一步的調整與最佳化,例如以適當的 Index 提高 MySQL 最常執行的 Query 的效率,或是去除造成 Slow Query 的成因(poor index, join...等)。視您的 MySQL Server 的忙錄狀態而定,您的 General Log(或 Slow Log) 有可能會非常的龐大,要以肉眼來分析是一項不可能的任務,比較實際的作法是自己撰寫 Scripts 去進行 Log 分析。若您不想花時間自行開發程式,不妨試試由 Daniel Nichter 所提供的 mysqlsla。
官方網站: http://hackmysql.com/
軟體下載: http://hackmysql.com/mysqlsla
Log 分析步驟:
- 開啟 MySQL Server 的 General Log 與 Slow Log
- 以 mysqlsla 分析 Log 檔案
- 解讀報表
MySQL Server Log 分析
一、開啟 MySQL Server 的 General Log 與 Slow Log
要分析 Log 檔案之前,你當然要先有可以分析的 Log 檔案。要開啟 MySQL Server 的 General Log 與 Slow Log,需要修改 MySQL Server 的系統設定檔並重新啟動 MySQL。
重新啟動 MySQL Server 後,您應該會在 MySQL 的 Data Dir 裡面發現 general-log 與 slow-log 這二個檔案。請注意,MySQL Server 的 General Log 與 Slow Log 預設不會進行 Logrotate,因此您要記得自己處理這個部份,不然的話只要你的 Server 夠忙錄, General Log 可能會用光你所有的硬碟空間。例如在 Linux 系統中可以在 /etc/logrotate.d 中加上 mysqld 檔案,內容為:引用:
/etc/my.cnf:
[mysqld]
log=general-log
log-slow-queries=slow-log
引用:
/var/log/mysqld.log /var/lib/mysql/general-log /var/lib/mysql/slow-log {
missingok
notifempty
sharedscripts
postrotate
/usr/bin/mysqladmin flush-logs
endscript
}
二、以 mysqlsla 分析 Log 檔案
mysqlsla 其實是一支 Perl Scripts,使用方式很間單,語法如下:
A. 分析 General Log
引用:
mysqlsla -u root -p --flat --general general-log--flat: 表示分析 Query 的時候把它們全部轉為小寫,也就是說大小寫的差異不列入考量
--general: 表示要分析的是 General Log
general-log: 這裡要填入 general-log 檔案名稱,若有多個 Log 檔案請使用逗號分隔,例如 log1,log2...
所產生的範例報表如下:(mysqlsla 預設只會列出 Top 10 Query)
PHP 語法:<!---->
Reading general log 'general-log'.
<!---->
1926707 total queries, 4085 unique.
Sorting by 'c'.
__ 001 _______________________________________________________________________
Count : 291423 (15%)
Database : example
Query 1.....
__ 002 _______________________________________________________________________
Count : 271380 (14%)
Database : example
Query 2.....
__ 003 _______________________________________________________________________
Count : 193304 (10%)
Database : example
Query 3.....
__ 004 _______________________________________________________________________
Count : 172429 (9%)
Database : example
Query 4.....
__ 005 _______________________________________________________________________
Count : 132067 (7%)
Database : example
Query 5.....
__ 006 _______________________________________________________________________
Count : 112499 (6%)
Database : example
Query 6.....
__ 007 _______________________________________________________________________
Count : 84409 (4%)
Database : example
Query 7.....
__ 008 _______________________________________________________________________
Count : 65973 (3%)
Database : example
Query 8.....
__ 009 _______________________________________________________________________
Count : 40396 (2%)
Database : example
Query 9.....
__ 010 _______________________________________________________________________
Count : 38702 (2%)
Database : example
Query 10.....
然後您就可以大致上瞭解 Server 都在處理些什麼東西。
B. 分析 Slow Log
引用:
mysqlsla -u root -p --flat --slow --ex --db 資料庫名稱 slow-log引用:
--flat: 表示分析 Query 的時候把它們全部轉為小寫,也就是說大小寫的差異不列入考量
--slow: 表示要分析的是 Slow Log
--ex: 使用 EXPLAIN 分析 Query
--db 資料庫名稱:Slow Log 不一定會記錄 Query 所屬的 Database,這樣一來當 Server 要進行 EXPLAIN 時會有問題,因此在這裡我們自己指定所使用的 Database。
slow-log: 這裡要填入 slow-log 檔案名稱,若有多個 Log 檔案請使用逗號分隔,例如 log1,log2...。
所產生的範例報表如下:(mysqlsla 預設只會列出 Top 10 Query)
有了這些資訊後,下一步就是要進行 Query 的最佳化,與 Server 系統參數的調校。PHP 語法:<!---->
Reading slow log 'slow-log'.
<!---->
160 total queries, 21 unique.
Databases for Unknown: example
Sorting by 't'.
__ 001 _______________________________________________________________________
Count : 75 (46%)
Time (seconds): 1449 total, 19.32 avg, 12 to 26 max
95% of Time : 1348 total, 18.99 avg, 12 to 25 max
Lock (seconds): 445 total, 5.93 avg, 0 to 13 max
Rows sent : 247 avg, 92 to 250 max
Rows examined : 39787 avg, 27136 to 53228 max
User : example[example]@localhost/ (76%)
Database : example
Rows (EXPLAIN): 24494 produced, 24494 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 4
ref: const,const
rows: 24494
Extra: Using where; Using filesort
Query1 ..........
__ 002 _______________________________________________________________________
Count : 4 (2%)
Time (seconds): 659 total, 164 avg, 164 to 166 max
95% of Time : 493 total, 164 avg, 164 to 165 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 53871729 avg, 53792839 to 53954842 max
Rows examined : 53871729 avg, 53792839 to 53954842 max
User : example[example]@localhost/ (23%)
Database : example
Rows (EXPLAIN): 54003520 produced, 54003520 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ALL
possible_keys:
key:
key_len:
ref:
rows: 54003520
Extra:
Query2 ..........
__ 003 _______________________________________________________________________
Count : 30 (18%)
Time (seconds): 412 total, 13.73 avg, 6 to 29 max
95% of Time : 355 total, 12.68 avg, 6 to 28 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 20475 avg, 3889 to 77241 max
Rows examined : 20475 avg, 3889 to 77241 max
User : example[example]@localhost/ (76%)
Database : example
Rows (EXPLAIN): 27060 produced, 27060 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 3
ref: const
rows: 27060
Extra:
Query3 ..........
__ 004 _______________________________________________________________________
Count : 20 (12%)
Time (seconds): 219 total, 10.95 avg, 10 to 12 max
95% of Time : 207 total, 10.89 avg, 10 to 12 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 0 avg, 0 to 1 max
Rows examined : 1077422 avg, 1076385 to 1078557 max
User : example[example]@localhost/ (23%)
Database : example
Rows (EXPLAIN): 1078830 produced, 3236490 read
EXPLAIN :
id: 1
select_type: PRIMARY
table: SAMPLE
type: index
possible_keys: SAMPLE
key: SAMPLE
key_len: 8
ref:
rows: 1078830
Extra: Using where; Using index; Using temporary; Using filesort
id: 3
select_type: DEPENDENT SUBQUERY
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 2
ref: const
rows: 1
Extra: Using where
id: 2
select_type: DEPENDENT SUBQUERY
table: SAMPLE
type: unique_subquery
possible_keys: PRIMARY,forumid
key: PRIMARY
key_len: 4
ref: func
rows: 1
Extra: Using index; Using where
Query4 ..........
__ 005 _______________________________________________________________________
Count : 4 (2%)
Time (seconds): 75 total, 18.75 avg, 16 to 22 max
95% of Time : 53 total, 17.67 avg, 16 to 19 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 1077174 avg, 1076128 to 1078321 max
Rows examined : 1077174 avg, 1076128 to 1078321 max
User : example[example]@localhost/ (23%)
Database : example
Rows (EXPLAIN): 1078830 produced, 1078830 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ALL
possible_keys:
key:
key_len:
ref:
rows: 1078830
Extra:
Query5 ..........
__ 006 _______________________________________________________________________
Count : 4 (2%)
Time (seconds): 40 total, 10 avg, 10 to 10 max
95% of Time : 30 total, 10.00 avg, 10 to 10 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 2207544 avg, 2205402 to 2209884 max
Rows examined : 2207544 avg, 2205402 to 2209884 max
User : example[example]@localhost/ (23%)
Database : example
Rows (EXPLAIN): 2211096 produced, 2211096 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ALL
possible_keys:
key:
key_len:
ref:
rows: 2211096
Extra:
Query6 ..........
__ 007 _______________________________________________________________________
Count : 4 (2%)
Time (seconds): 36 total, 9 avg, 9 to 9 max
95% of Time : 27 total, 9.00 avg, 9 to 9 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 0 avg, 0 to 0 max
Rows examined : 1827 avg, 1826 to 1828 max
User : example[example]@localhost/ (23%)
Database : example
Rows (EXPLAIN): 3656396 produced, 3658344 read
EXPLAIN :
id: 1
select_type: PRIMARY
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 2
ref: const
rows: 1948
Extra: Using where
id: 2
select_type: DEPENDENT SUBQUERY
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: award_id
key_len: 2
ref: const
rows: 1877
Extra: Using where
Query7 ..........
__ 008 _______________________________________________________________________
Count : 2 (1%)
Time (seconds): 36 total, 18 avg, 13 to 23 max
95% of Time : 13 total, 13.00 avg, 13 to 13 max
Lock (seconds): 6 total, 3 avg, 1 to 5 max
Rows sent : 250 avg, 250 to 250 max
Rows examined : 45386 avg, 40636 to 50136 max
User : example[example]@localhost/ (76%)
Database : example
Rows (EXPLAIN): 24494 produced, 24494 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 4
ref: const,const
rows: 24494
Extra: Using where; Using filesort
Query8 ..........
__ 009 _______________________________________________________________________
Count : 3 (1%)
Time (seconds): 30 total, 10 avg, 6 to 12 max
95% of Time : 18 total, 9.00 avg, 6 to 12 max
Lock (seconds): 1 total, 0.33 avg, 0 to 1 max
Rows sent : 0 avg, 0 to 0 max
Rows examined : 0 avg, 0 to 0 max
User : example[example]@localhost/ (76%)
Database : Unknown
Rows (EXPLAIN): EXPLAIN error: Not a SELECT statement.
EXPLAIN : EXPLAIN error: Not a SELECT statement.
Query9 ..........
__ 010 _______________________________________________________________________
Count : 3 (1%)
Time (seconds): 21 total, 7 avg, 6 to 8 max
95% of Time : 13 total, 6.50 avg, 6 to 7 max
Lock (seconds): 0 total, 0 avg, 0 to 0 max
Rows sent : 143522 avg, 121334 to 187844 max
Rows examined : 143522 avg, 121334 to 187844 max
User : example[example]@localhost/ (76%)
Database : example
Rows (EXPLAIN): 141085 produced, 141085 read
EXPLAIN :
id: 1
select_type: SIMPLE
table: SAMPLE
type: ref
possible_keys: SAMPLE
key: SAMPLE
key_len: 3
ref: const
rows: 141085
Extra: Using index
Query10 ..........
发表评论
-
Mysql之EXPLAIN
2011-10-24 14:26 932mysql> explain select count ... -
五种提高 SQL 性能的方法[转]
2009-02-24 14:49 939五种提高 SQL 性能的方法 发布日期: 4/1/200 ... -
MySQL中MyISAM引擎与InnoDB引擎性能简单测试
2008-11-20 09:27 3289MySQL中MyISAM引擎与InnoDB引擎性能简单测试[硬 ... -
Mysql参数配置优化说明
2008-08-29 09:02 61741.获取当前配置参数 ... -
辨識 MySQL Slow Queries 的一般性原則
2008-08-22 14:58 1371本文開始由於 MySQL 的普 ... -
用mysqldumpslow分析mysql的slow query log
2008-08-22 14:51 2899mysql有一个功能就是可以log下来运行的比较慢的sql ... -
DAO设计模式(转)
2008-05-14 21:54 1121J2EE开发人员使用数据访 ... -
模拟大并发访问量请求程序(压力测试)
2008-05-14 21:45 21061 2 3 4 5 6 7 8 9 10 11 12 ... -
[zt]MySQL平台数据库备份方案详细说明
2008-04-29 10:48 950http://www.51cto.com/html/20 ... -
【zt】sql server用sql文件备份还原数据库
2008-03-12 16:02 5327在sql server下备份还原数据库,相信大家都用sql s ...
相关推荐
标题:五款常用mysql slow log分析工具 描述:本文对五款常用的MySQL慢查询日志分析工具进行深入解析,旨在帮助DBA、开发者和运维人员更有效地定位和优化数据库性能瓶颈。 ### MySQL Slow Log概念 MySQL慢查询日志...
在日常数据库维护中,定期使用MySQLSLA分析慢查询日志,可以帮助我们持续监控数据库性能,及时发现并解决潜在问题,从而提升系统整体的响应速度和用户体验。 总结来说,MySQLSLA是一款强大的MySQL慢查询日志分析...
- 下载`mysqlsla-2.03.tar.tar`文件,并使用`tar -xvf mysqlsla-2.03.tar.tar`解压。 - 进入解压后的目录,运行`./configure`来检查依赖项并配置编译环境。 - 使用`make`命令进行编译,然后使用`sudo make ...
查询日志(`log`)记录了所有客户端发送到MySQL服务器的SQL语句,包括SELECT语句。虽然它能提供详尽的数据操作记录,但由于可能会对性能造成一定影响,因此通常建议在非必要情况下关闭。 - **记录内容**:所有SQL...
mysqlsla(SQL SLA,Service Level Agreement for MySQL)是一个命令行工具,用于分析MySQL慢查询日志。它能提供丰富的统计信息,包括查询执行时间分布、最耗时的查询、锁定时间等。安装mysqlsla通常通过以下步骤: ...
除了`mysqldumpslow`,MySQLSLA(MySQL Slow Log Analyser)是一个更强大的分析工具,它是用Perl编写的。在安装MySQLSLA之前,需要确保系统已经安装了Perl。在大多数Linux发行版中,可以通过`yum install perl`或`...
MySQLSLA(MySQL Slow Log Analyzer)是用于分析MySQL数据库慢查询日志的工具,它能够帮助DBA(数据库管理员)优化数据库性能。标题中的“mysqlsla-2.0.3”指的是该软件的特定版本,2.0.3,这通常意味着它包含了前一...
比较的五款常用工具mysqldumpslow, mysqlsla, myprofi, mysql-explain-slow-log, mysqllogfilter mysqldumpslow, mysql官方提供的慢查询日志分析工具. 输出图表如下: 主要功能是, 统计不同慢sql的 出现次数(Count...
MySQL慢查询日志是MySQL提供的一种日志记录方式,用于记录所有执行时间超过指定阈值(默认10秒)的SQL语句,帮助开发者和DBA定位数据库性能瓶颈,优化SQL查询效率。 #### 开启与配置 1. **开启慢查询日志:** - ...
MySQL Slow Query Log是一种重要的性能监控工具,用于记录执行时间超过预设阈值的SQL查询,帮助DBA识别和优化性能瓶颈。本篇文章将对比五款常用的MySQL Slow Log分析工具,以便选择最适合您需求的工具。 1. **...
[root@localhost tmp]# wget http://hackmysql.com/scripts/mysqlsla-2.03.tar.gz --19:45:45-- http://hackmysql.com/scripts/mysqlsla-2.03.tar.gz Resolving hackmysql.com... 64.13.232.157 Connecting to ...
总之,MySQLsla是一款强大的MySQL慢查询分析工具,它提供了一种有效的方式来监控和优化数据库性能,对于数据库管理员来说,它是日常维护和性能调优的重要助手。通过熟练掌握其使用方法,可以显著提升数据库系统的...
《知数堂MySQL DBA面试秘籍》是一份专为MySQL数据库管理员(DBA)...通过《知数堂MySQL DBA面试秘籍》,读者不仅可以为面试做好充分准备,还能在实际工作中提升MySQL数据库的管理和维护能力,成为一名出色的MySQL DBA。
Count, sql的执行次数及占总的slow log数量的百分比. Time, 执行时间, 包括总时间, 平均时间, 最小, 最大时间, 时间占到总慢sql时间的百分比. 95% of Time, 去除最快和最慢的sql, 覆盖率占95%的sql的执行时间. Lock ...