一年一度的产品性能测试又开始了,满怀欣喜提交后,得到的回复是,系统并发400人左右的时候,后台开始报出大量异常:有
socket write error
(难道我新引入的ajax翻页资源没释放?),
jdbc failed
(hibernate二级缓存我也设了呀),
communication failed
(到底是jsp渲染的原因还是连接池问题)等等,尝试了无数方法,把server.xml,catalina.bat,my.ini等文件参数摆弄了一遍又一遍,去年的结果都比现在强呀,难道我新引入的代码有问题?
最后tomcat调优无效,尝试考虑数据库,逐步减少了表数据量,发现异常抛出的时间延后了些,sql查询性能问题,核心模块我已经加入hibernate二级缓存控制了呀,再次分析loadrunner脚本,发现测试组多录了一个list列表模块,那个表数据虽不大,但是没有加任何缓存控制,于是设置query_cache_size属性,重启mysql,一切perfect!
心得:1.良好的性能分析工具可以事半功倍;
2.先明确问题可能存在的关键点,逐个排除,别瞎蒙;
3.恒心,细心,耐心。
以下分析给了我极大的帮助和启发,特转载部分内容(http://database.ctocio.com.cn/tips/244/8085244.shtml)
缓存机制简单的说就是缓存sql文本及查询结果,如果运行相同的sql,服务器直接从缓存中取到结果,而不需要再去解析和执行sql。如果表更改了,那么使用这个表的所有缓冲查询将不再有效,查询缓存值的相关条目被清空。更改指的是表中任何数据或是结构的改变,包括INSERT、UPDATE、DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE等,也包括那些映射到改变了的表的使用MERGE表的查询。显然,这对于频繁更新的表,查询缓存是不适合的,而对于一些不常改变数据且有大量相同sql查询的表,查询缓存会节约很大的性能。
查询必须是完全相同的(逐字节相同)才能够被认为是相同的。另外,同样的查询字符串由于其它原因可能认为是不同的。使用不同的数据库、不同的协议版本或者不同 默认字符集的查询被认为是不同的查询并且分别进行缓存。
下面sql查询缓存认为是不同的:
SELECT * FROM tbl_name
Select * from tbl_name
查询缓存相关参数
mysql> SHOW VARIABLES LIKE '%query_cache%';
+------------------------------+---------+
| Variable_name | Value |
+------------------------------+---------+
| have_query_cache | YES | --查询缓存是否可用
| query_cache_limit | 1048576 | --可缓存具体查询结果的最大值
| query_cache_min_res_unit | 4096 |
| query_cache_size | 599040 | --查询缓存的大小
| query_cache_type | ON | --阻止或是支持查询缓存
| query_cache_wlock_invalidate | OFF |
+------------------------------+---------+
下面是一个简单的例子:
[mysql@csdba1850 ~]$ mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.0.45-community MySQL Community Edition (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> set global query_cache_size = 600000; --设置缓存内存
Query OK, 0 rows affected (0.00 sec)
mysql> set session query_cache_type = ON; --开启查询缓存
Query OK, 0 rows affected (0.00 sec)
mysql> use test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| animals |
| person |
+----------------+
5 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
--Qcache_hits表示sql查询在缓存中命中的累计次数,是累加值。
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 0 | --0次
+---------------+-------+
8 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 1 | --表示sql在缓存中直接得到结果,不需要再去解析
+---------------+-------+
8 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 6 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 3 | --上面的sql也是是从缓存中直接取到结果
+---------------+-------+
1 row in set (0.00 sec)
mysql> insert into animals select 9,'testsds' ; --插入数据后,跟这个表所有相关的sql缓存就会被清空掉
Query OK, 1 row affected (0.00 sec)
Records: 1 Duplicates: 0 Warnings: 0
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 7 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 3 | --还是等于3,说明上一条sql是没有直接从缓存中直接得到的
+---------------+-------+
1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+
| count(*) |
+----------+
| 7 |
+----------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE 'Qcache_hits';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Qcache_hits | 4 |
+---------------+-------+
1 row in set (0.00 sec)
分享到:
相关推荐
### 释放查询潜力:深度配置 MySQL 查询缓存 #### MySQL 概览 MySQL 是一个流行的开源关系型数据库管理系统(RDBMS),广泛应用于 Web 应用程序的后端数据存储。它基于结构化查询语言(SQL)进行数据管理,是 LAMP...
MySQL的缓存机制包括查询缓存、InnoDB的缓冲池、表定义缓存等。查询缓存用于存储已执行过的SQL查询及其结果,当相同的查询再次到来时,MySQL可以从缓存中直接返回结果,避免了解析和执行查询的过程。InnoDB缓冲池则...
Mysql执行过程与BufferPool缓存机制.png
MySQL缓存机制简单的说就是缓存sql文本及查询结果,如果运行相同的sql,服务器直接从缓存中取到结果,而不需要再去解析和执行sql。如果表更改 了,那么使用这个表的所有缓冲查询将不再有效,查询缓存值的相关条目被...
MySQL支持多种缓存机制,包括查询缓存、InnoDB缓存、表缓存和键缓存。 ##### 1. 查询缓存 - **定义**:查询缓存存储了SELECT查询的结果集,当相同的查询再次执行时,可以直接从缓存中获取结果,无需重新执行查询。 ...
在MySQL数据库系统中,查询缓存是一个非常重要的性能优化机制,它允许服务器存储先前执行的SQL查询及其结果,以便在后续请求相同查询时快速返回结果,而无需再次解析和执行查询。然而,这也可能导致某些情况下优化...
MySQL数据库系统在处理查询时,为了提高性能,使用了多种缓存机制,其中最常见的是查询缓存(Query Cache)。本文将深入探讨MySQL的查询缓存功能,以及如何通过全局变量`global_query_cache_size`来调整其大小。 ...
配置你的mysql配置文件:主要是配置[mysqld]后面的内容。 1,优化远程连接速度。 在[mysqld]下面添加skip-name-... 3,开启缓存机制 skip-locking#取消文件系统的外部锁 key_buffer = 512M#索引缓存,根
可将如下语句 query_cache_size = 268435456 query_cache_type = 1 query_cache_limit = 1048576 存放到/etc/my.cnf文件的[mysqld]下 然后重启mysql数据库 service mysqld restart 就会启动mysql的缓存机制Query ...
### MySQL查询流程分析 在深入理解MySQL查询流程...通过合理地利用查询优化技术、权限管理和缓存机制等功能,可以显著提升MySQL系统的整体性能和用户体验。希望本文能为大家在学习和使用MySQL的过程中提供一定的帮助。
2. **查询缓存的性能测试**:考察MySQL查询缓存机制的实际效果。 3. **MyISAM与InnoDB引擎的性能对比**:这两种存储引擎在不同场景下的性能表现。 4. **压力情况下的性能测试**:模拟高并发场景,观察MySQL在压力下...
但是,随着缓存大小的增加,内存资源的占用也会增加,而且由于当前实现方式采用的是粗粒度的锁机制,因此在多硬件线程和高并发连接下,查询缓存的性能开销也会增大。 在上述案例中,问题的根源在于新系统的查询缓存...
### MySQL缓存优化详解 #### 一、MySQL存储引擎概览与选择 ##### 1.1 存储引擎类型 MySQL 提供了多种存储引擎,每种引擎都有其独特的优势和适用场景。以下是最常见的几种存储引擎: - **MyISAM**:MySQL 的默认...
MySQL 执行过程与查询缓存是数据库操作中的关键环节,理解这一过程对于优化数据库性能至关重要。MySQL 的执行流程包括以下几个步骤: 1. **客户端发送查询**:当用户通过MySQL客户端发送一条SQL查询时,这个请求会...
根据提供的文件信息,我们可以深入探讨 MySQL 的高级优化查询这一主题,包括其查询缓存原理以及 MySQL 的内部机制等核心知识点。 ### 一、MySQL 查询缓存原理 #### 1.1 什么是查询缓存 查询缓存是 MySQL 中用于...
4. MySQL查询缓存机制 - 题库中提到一个数据库服务器是以读密集型模式运行,且设置了query_cache_type=DEMAND。 - 数据集定期刷新,但文档并未完整提供后续信息,可能需要结合实际数据库知识推测后续情况。 5. ...
MySQL的查询缓存(Query Cache)机制是一种优化策略,用于存储已经执行过的SELECT查询结果,以便后续相同的查询可以直接从缓存中获取结果,减少数据库的实际读取操作,从而提高查询性能。然而,它并不适用于所有场景...
### Redis作为MySQL缓存服务器(公司内部培训资料) #### 一、Redis简介 Redis是一种开源的键值存储系统,主要用于高速缓存数据。与Memcached相比,虽然两者都基于内存进行数据存储以确保高效率,但Redis具备更...