一年一度的产品性能测试又开始了,满怀欣喜提交后,得到的回复是,系统并发400人左右的时候,后台开始报出大量异常:有
socket write error
(难道我新引入的ajax翻页资源没释放?),
jdbc failed
(hibernate二级缓存我也设了呀),
communication failed
(到底是jsp渲染的原因还是连接池问题)等等,尝试了无数方法,把server.xml,catalina.bat,my.ini等文件参数摆弄了一遍又一遍,去年的结果都比现在强呀,难道我新引入的代码有问题?
最后tomcat调优无效,尝试考虑数据库,逐步减少了表数据量,发现异常抛出的时间延后了些,sql查询性能问题,核心模块我已经加入hibernate二级缓存控制了呀,再次分析loadrunner脚本,发现测试组多录了一个list列表模块,那个表数据虽不大,但是没有加任何缓存控制,于是设置query_cache_size属性,重启mysql,一切perfect!
心得:1.良好的性能分析工具可以事半功倍;
2.先明确问题可能存在的关键点,逐个排除,别瞎蒙;
3.恒心,细心,耐心。
以下分析给了我极大的帮助和启发,特转载部分内容(http://database.ctocio.com.cn/tips/244/8085244.shtml)
缓存机制简单的说就是缓存sql文本及查询结果,如果运行相同的sql,服务器直接从缓存中取到结果,而不需要再去解析和执行sql。如果表更改了,那么使用这个表的所有缓冲查询将不再有效,查询缓存值的相关条目被清空。更改指的是表中任何数据或是结构的改变,包括INSERT、UPDATE、DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE等,也包括那些映射到改变了的表的使用MERGE表的查询。显然,这对于频繁更新的表,查询缓存是不适合的,而对于一些不常改变数据且有大量相同sql查询的表,查询缓存会节约很大的性能。
查询必须是完全相同的(逐字节相同)才能够被认为是相同的。另外,同样的查询字符串由于其它原因可能认为是不同的。使用不同的数据库、不同的协议版本或者不同 默认字符集的查询被认为是不同的查询并且分别进行缓存。
下面sql查询缓存认为是不同的:
SELECT * FROM tbl_name
Select * from tbl_name
查询缓存相关参数
mysql> SHOW VARIABLES LIKE '%query_cache%';
+------------------------------+---------+
| Variable_name | Value |
+------------------------------+---------+
| have_query_cache | YES | --查询缓存是否可用
| query_cache_limit | 1048576 | --可缓存具体查询结果的最大值
| query_cache_min_res_unit | 4096 |
| query_cache_size | 599040 | --查询缓存的大小
| query_cache_type | ON | --阻止或是支持查询缓存
| query_cache_wlock_invalidate | OFF |
+------------------------------+---------+
下面是一个简单的例子:
[mysql@csdba1850 ~]$ mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.0.45-community MySQL Community Edition (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> set global query_cache_size = 600000; --设置缓存内存
Query OK, 0 rows affected (0.00 sec)
mysql> set session query_cache_type = ON; --开启查询缓存
Query OK, 0 rows affected (0.00 sec)
mysql> use test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| animals |
| person |
+----------------+
5 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
--Qcache_hits表示sql查询在缓存中命中的累计次数,是累加值。
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 0 | --0次
+---------------+-------+
8 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 1 | --表示sql在缓存中直接得到结果,不需要再去解析
+---------------+-------+
8 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 3 | --上面的sql也是是从缓存中直接取到结果
+---------------+-------+
1 row in set (0.00 sec)
mysql> insert into animals select 9,'testsds' ; --插入数据后,跟这个表所有相关的sql缓存就会被清空掉
Query OK, 1 row affected (0.00 sec)
Records: 1 Duplicates: 0 Warnings: 0
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 7 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 3 | --还是等于3,说明上一条sql是没有直接从缓存中直接得到的
+---------------+-------+
1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 7 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 4 |
+---------------+-------+
1 row in set (0.00 sec)
分享到:
相关推荐
Mysql执行过程与BufferPool缓存机制.png
MySQL缓存机制简单的说就是缓存sql文本及查询结果,如果运行相同的sql,服务器直接从缓存中取到结果,而不需要再去解析和执行sql。如果表更改 了,那么使用这个表的所有缓冲查询将不再有效,查询缓存值的相关条目被...
MySQL数据库系统在处理查询时,为了提高性能,使用了多种缓存机制,其中最常见的是查询缓存(Query Cache)。本文将深入探讨MySQL的查询缓存功能,以及如何通过全局变量`global_query_cache_size`来调整其大小。 ...
配置你的mysql配置文件:主要是配置[mysqld]后面的内容。 1,优化远程连接速度。 在[mysqld]下面添加skip-name-... 3,开启缓存机制 skip-locking#取消文件系统的外部锁 key_buffer = 512M#索引缓存,根
可将如下语句 query_cache_size = 268435456 query_cache_type = 1 query_cache_limit = 1048576 存放到/etc/my.cnf文件的[mysqld]下 然后重启mysql数据库 service mysqld restart 就会启动mysql的缓存机制Query ...
但是,随着缓存大小的增加,内存资源的占用也会增加,而且由于当前实现方式采用的是粗粒度的锁机制,因此在多硬件线程和高并发连接下,查询缓存的性能开销也会增大。 在上述案例中,问题的根源在于新系统的查询缓存...
MySQL 执行过程与查询缓存是数据库操作中的关键环节,理解这一过程对于优化数据库性能至关重要。MySQL 的执行流程包括以下几个步骤: 1. **客户端发送查询**:当用户通过MySQL客户端发送一条SQL查询时,这个请求会...
MYSQL内置缓存机制,当Server层接收到⼀条查询语句时,会去缓存中进⾏查询,如果有对应 的查询结果则直接返回。如果没有查到,就继续后续操作。当后续操作查询到对应的结果返回 后,就会将该条SQL语句Hash后作为key...
MySQL的查询缓存(Query Cache)机制是一种优化策略,用于存储已经执行过的SELECT查询结果,以便后续相同的查询可以直接从缓存中获取结果,减少数据库的实际读取操作,从而提高查询性能。然而,它并不适用于所有场景...
4. 使用缓存机制:使用缓存机制可以大大提高查询速度,例如使用 MySQL 的查询缓存机制等。 提高 MySQL 数据库的查询性能需要从多方面入手,包括硬件配置、索引设计、查询语句优化、数据库连接池等多个方面的优化。
本书主要介绍了MYSQL的查询缓存原理,还有MYSQL的内部机制
- 缓存机制:`MysqlHelper`可能会包含一个缓存层,如使用`System.Runtime.Caching`命名空间中的`MemoryCache`类,来存储频繁查询的结果,减少对数据库的访问,提高性能。 - 缓存策略:缓存的添加、过期和清理策略...
MySQL查询缓存是一种提高数据库性能的技术,它存储先前执行过的SQL查询的结果,...如果你使用的是MySQL 8.0或更高版本,你可能需要寻找其他的性能优化策略,如使用索引、优化查询语句或者使用更现代的数据库缓存机制。
本节课主要讲解了MySQL中的MVCC(Multi-Version Concurrency Control)机制和BufferPool缓存机制。 一、MVCC机制 MVCC机制是一种多版本并发控制机制,用于保证事务的隔离性。在可重复读隔离级别下,MVCC机制可以...
在MySQL 5.7中,引入了InnoDB存储引擎的性能优化,例如更好的索引处理和查询缓存机制,这可能会对时间范围查询产生积极影响。 测试环境的选择对性能测试结果有着直接影响。通常,测试环境应尽可能模拟实际生产环境...
**查询缓存**是MySQL的一项功能,它可以缓存已解析并执行的SELECT查询的结果,以便后续相同的查询可以直接返回结果,而无需再次执行。然而,由于缓存管理开销和数据更新可能导致的缓存失效,查询缓存可能不适用于...
MySQL 查询执行机制解析 MySQL 是一个关系型数据库管理系统,它的执行机制可以分为 Server 层和存储引擎层两部分。Server 层主要包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL的大多数核心服务功能...
本项目主题聚焦于“基于SSM框架,通过spring注解的方式,实现redis的数据缓存机制,将mysql的数据缓存到redis数据库”,这涉及到Java开发中的多个核心技术。首先,我们来逐一解析这些知识点。 **1. SSM框架** SSM...