这几天系统每到晚上七点到九点这段时间接收第三方订单状态推送的时候总是出现响应超时的情况,因为这几天正好是京东的活动618,因为我们和京东有合作,接收京东的订单推送到我们平台上,一开始以为是订单量太大,tomcat服务器扛不住了,就通过top、jmap、和远程jvisualvm来进行远程监控,发现服务器的cpu和内存使用情况都很低,完全不像有问题的情况,于是查看数据库的服务器状态,发现mysql服务器的cpu使用情况始终在百分之三百多,基本上可以肯定是mysql服务器出问题了,通过上网多方查找资料,基本确定是一些统计的sql语句缺少索引出了问题,通过使用show full PROCESSLIST命令不断的刷新查看到一些state是Copy to tmp table和Sending data的sql语句,然后开始一条条的进行优化,其实就是在挨个添加索引(因为之前的数据量小,所以一直没有问题,现在数据量大了,好多sql语句也就暴露出来问题需要进行优化了),加完索引后cpu使用率就明显下来了,基本上没有出现上百的情况,然后接着刷新show full PROCESSLIST命令继续进行优化。当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引。另外也学习了一点:mysql函数now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率。
具体show full PROCESSLIST命令的state值可以通过下面网址来分析,写的很清楚:
http://www.cnblogs.com/huangye-dream/archive/2013/05/30/3108298.html
我也引用一下原文内容:
执行状态分析
Sleep状态
通常代表资源未释放,如果是通过连接池,sleep状态应该恒定在一定数量范围内
实战范例:因前端数据输出时(特别是输出到用户终端)未及时关闭数据库连接,导致因网络连接速度产生大量sleep连接,在网速出现异常时,数据库too many connections挂死。
简单解读,数据查询和执行通常只需要不到0.01秒,而网络输出通常需要1秒左右甚至更长,原本数据连接在0.01秒即可释放,但是因为前端程序未执行close操作,直接输出结果,那么在结果未展现在用户桌面前,该数据库连接一直维持在sleep状态!
Waiting for net, reading from net, writing to net
偶尔出现无妨
如大量出现,迅速检查数据库到前端的网络连接状态和流量
案例:因外挂程序,内网数据库大量读取,内网使用的百兆交换迅速爆满,导致大量连接阻塞在waiting for net,数据库连接过多崩溃
Locked状态
有更新操作锁定
通常使用innodb可以很好的减少locked状态的产生,但是切记,更新操作要正确使用索引,即便是低频次更新操作也不能疏忽。如上影响结果集范例所示。
在myisam的时代,locked是很多高并发应用的噩梦。所以mysql官方也开始倾向于推荐innodb。
Copy to tmp table
索引及现有结构无法涵盖查询条件,才会建立一个临时表来满足查询要求,产生巨大的恐怖的i/o压力。
很可怕的搜索语句会导致这样的情况,如果是数据分析,或者半夜的周期数据清理任务,偶尔出现,可以允许。频繁出现务必优化之。
Copy to tmp table通常与连表查询有关,建议逐渐习惯不使用连表查询。
实战范例:
u 某社区数据库阻塞,求救,经查,其服务器存在多个数据库应用和网站,其中一个不常用的小网站数据库产生了一个恐怖的copy to tmp table操作,导致整个硬盘i/o和cpu压力超载。Kill掉该操作一切恢复。
Sending data
Sending data并不是发送数据,别被这个名字所欺骗,这是从物理磁盘获取数据的进程,如果你的影响结果集较多,那么就需要从不同的磁盘碎片去抽取数据,
偶尔出现该状态连接无碍。
回到上面影响结果集的问题,一般而言,如果sending data连接过多,通常是某查询的影响结果集过大,也就是查询的索引项不够优化。
如果出现大量相似的SQL语句出现在show proesslist列表中,并且都处于sending data状态,优化查询索引,记住用影响结果集的思路去思考。
Storing result to query cache
出现这种状态,如果频繁出现,使用set profiling分析,如果存在资源开销在SQL整体开销的比例过大(即便是非常小的开销,看比例),则说明query cache碎片较多
使用flush query cache可即时清理,也可以做成定时任务
Query cache参数可适当酌情设置。
Freeing items
理论上这玩意不会出现很多。偶尔出现无碍
如果大量出现,内存,硬盘可能已经出现问题。比如硬盘满或损坏。
i/o压力过大时,也可能出现Free items执行时间较长的情况。
Sorting for …
和Sending data类似,结果集过大,排序条件没有索引化,需要在内存里排序,甚至需要创建临时结构排序。
其他
还有很多状态,遇到了,去查查资料。基本上我们遇到其他状态的阻塞较少,所以不关心
相关推荐
MySQL占用CPU过高的解决方案 在这篇文章中,我们讨论了MySQL占用CPU过高的问题及其解决方案。该问题可能会导致服务器性能下降,影响用户体验。通过实践案例,我们将展示如何诊断和解决该问题。 一、问题描述 ...
### 解决 MySQL 服务器进程 CPU 占用 100% 的技术笔记 #### 现象描述 ...通过以上步骤和技术方案的应用,成功地解决了 MySQL 服务器进程 CPU 占用率过高的问题,提高了服务器的整体响应速度和服务质量。
同时,通过查看MySQL的日志(如慢查询日志),找出运行时间过长的SQL语句,进行优化。 2. **SQL优化**:优化SQL语句是最直接的解决方案。可以使用EXPLAIN分析查询计划,检查是否充分利用了索引,是否存在不必要的...
3. **MySQL服务器优化**: - **参数调整**:根据系统资源和应用需求调整MySQL的配置参数,如innodb_buffer_pool_size、max_connections、query_cache_size等。 - **内存调优**:确保足够的内存分配给MySQL,以缓存...
总结,MySQL性能优化与架构设计涵盖了许多方面,包括查询优化、索引策略、数据库设计、缓存利用、并行处理、架构设计、数据分布以及监控与调优工具的使用。理解和掌握这些知识点,能够帮助我们构建高效、稳定的...
MySQL 性能优化 - 影响 MySQL 性能的因素分析及解决方案 MySQL 性能优化是数据库管理中最重要的一部分,影响 MySQL 性能的因素有很多,例如硬件资源、操作系统、数据库参数设置、数据库结构设计和 SQL 语句等。本文...
【Prometheus监控MySQL详解】 Prometheus是一款源自Google Borgmon的开源监控系统...综上所述,结合Prometheus和Grafana的监控方案,可以提供全面且直观的MySQL服务器性能监控,帮助企业更好地管理和优化数据库系统。
- **资源合理安排**:确保MySQL服务器的硬件资源如CPU、内存和磁盘I/O得到高效利用。 - **调整系统参数**:根据工作负载定制MySQL的配置参数,以适应高并发环境。 - **多方面优化**:包括查询优化、更新优化和...
9. **硬件升级**:增加内存、使用SSD硬盘、提升CPU性能等硬件优化,可以显著提升MySQL处理高并发的能力。 10. **架构设计**:采用微服务架构,将单一应用拆分为一组小型服务,每个服务都有独立的数据库,可以独立...
针对MySQL CPU占用率过高的问题,可以通过以下步骤进行排查和解决: 1. **排除MySQL配置问题**:首先检查MySQL的配置文件,确保没有明显的配置错误或不合理之处。 2. **监控MySQL运行状态**:通过查看MySQL的日志...
- MySQL服务器监控:定期检查数据库性能指标,如CPU使用率、磁盘I/O、内存利用率,以便及时发现问题并优化。 5. 数据压缩和索引压缩: - 数据压缩可以减少存储空间,但会增加更新操作的CPU消耗。适合于更新较少、...
本文将从高性能高并发服务器架构的优化心得、架构设计问题、负载均衡技术、开源平台的高并发集群思考等多方面详细介绍高性能高并发服务器架构的解决方案。 一、高性能高并发服务器架构的优化心得 高性能高并发...
MySQL作为一款广泛使用的开源关系型数据库管理系统,其性能优化对于确保应用系统的稳定性和高效运行至关重要。通过对MySQL的优化,不仅能提升系统的响应速度,还能有效减少硬件资源的投入成本。本文将详细介绍MySQL...
《高性能MySQL》是一本深入探讨MySQL数据库系统优化与管理的经典著作。这本书涵盖了MySQL的架构、历史、性能调优以及基准测试等多个重要主题,对于数据库管理员、开发人员以及对数据库性能有高要求的技术人员来说,...
首先,文章指出,当数据库服务器的负载过高,如LoadAvg达到300以上时,即使对SQL语句进行优化也无法显著提升性能。这主要是因为数据库的线程过多,CPU频繁进行线程状态切换,消耗了大量的资源。同时,Web服务器因...
根据描述,当前的MySQL数据库服务器CPU占用率高,SQL队列中读写操作频繁,这可能导致响应速度下降,影响用户体验。为此,这里提供两种主要的优化策略:读写分离和使用MySQL Proxy。 读写分离是一种常见的数据库优化...