原文:
http://www.taobaodba.com/html/552_mysql_avoid_swap.html
Linux有很多很好的内存、IO调度机制,但是并不会适用于所有场景。对于DBA来说Linux比较让人头疼的一个地方是,它不会因为MySQL 很重要就避免将分配给MySQL的地址空间映射到swap上。对于频繁进行读写操作的系统而言,数据看似在内存而实际上在磁盘是非常糟糕的,响应时间的增 长很可能直接拖垮整个系统。这篇blog主要讲讲我们作为DBA,怎样尽量避免MySQL惨遭swap的毒手。
首先我们要了解点基础的东西,比如说为什么会产生swap。假设我们的物理内存是16G,swap是4G。如果MySQL本身已经占用了12G物理内存, 而同时其他程序或者系统模块又需要6G内存,这时候操作系统就可能把MySQL所拥有的一部分地址空间映射到swap上去。
cp一个大文件,或用mysqldump导出一个很大的数据库的时候,文件系统往往会向Linux申请大量的内存作为cache,一不小心就会导致L使用swap。这个情景比较常见,以下是最简单的三个调整方法:
1、/proc/sys/vm/swappiness的内容改成0(临时),/etc/sysctl.conf上添加vm.swappiness=0(永久)
这个参数决定了Linux是倾向于使用swap,还是倾向于释放文件系统cache。在内存紧张的情况下,数值越低越倾向于释放文件系统cache。
当然,这个参数只能减少使用swap的概率,并不能避免Linux使用swap。
2、修改MySQL的配置参数innodb_flush_method,开启O_DIRECT模式。
这种情况下,InnoDB的buffer pool会直接绕过文件系统cache来访问磁盘,但是redo log依旧会使用文件系统cache。值得注意的是,Redo log是覆写模式的,即使使用了文件系统的cache,也不会占用太多。
3、添加MySQL的配置参数memlock
这个参数会强迫mysqld进程的地址空间一直被锁定在物理内存上,对于os来说是非常霸道的一个要求。必须要用root帐号来启动MySQL才能生效。
还有一个比较复杂的方法,指定MySQL使用大页内存(Large Page)。Linux上的大页内存是不会被换出物理内存的,和memlock有异曲同工之妙。具体的配置方法可以参 考:http://harrison-fisk.blogspot.com/2009/01/enabling-innodb-large-pages- on-linux.html
更多参考:http://robbin.iteye.com/blog/461382
相关推荐
+ 应该避免隐式转换,使用explicit转换 * 表数据被莫名清空 + 数据库崩溃或异常情况下,表数据可能会被清空 + 应该使用事务和锁机制来保护数据一致性 * InnoDB表更新锁问题 + 在高并发情况下,InnoDB表可能会...
对于OLTP环境,由于其短事务的特性,应该避免使用swap分区。这是因为OLTP环境要求极高,使用swap分区会严重影响服务能力和响应时间,甚至导致系统无法正常工作。在OLAP环境中,由于处理的数据量通常非常大,所以数据...
2. 内存和交换区(Swap)检查: - 同样使用top命令或free命令来检查内存使用状况。 - 检查交换区使用率是否达到10%以上,若交换区过度使用,可能会导致数据库性能下降。 3. 系统命令使用: - uptime命令可以快速...
linux平台数据库服务,监测mysql 3306端口服务是否启动着,监测磁盘空间使用,监测swap空间使用。如果到阀值会发邮件告警
在安装 MySQL 之前,需要创建一个新的用户和组,用于运行 MySQL。然后,下载 MySQL 的源代码,编译和安装 MySQL。初始化 MySQL 数据库,并设置权限。 配置防火墙 在安装完成后,需要配置防火墙,开放 ssh 和 www ...
mysql_role_swap mysql_role_swap是用Ruby编写的脚本,用于执行将从属数据库升级为主数据库时通常执行的所有任务。 它执行所有必要的检查,以确保过渡尽可能平滑。 它使用mysql和activerecord库执行这些任务。 设计...
PHP的优势在于其易学性、跨平台性以及与各种数据库的良好集成,例如MySQL,这使得PHP成为初学者和专业开发者都非常青睐的工具。 在这个"swap顶级模板"中,你可以学习到以下PHP开发的知识点: 1. **MVC(Model-View...
内存和SWAP使用情况可以通过查看/proc/meminfo文件来分析。CPU负载和IO情况,包括磁盘和网络IO,可以通过ps命令和iostat工具来获得详细信息。 具体案例分析方面,例如当系统报告连接池满时,我们可以通过iostat或...
9. **操作系统层面的优化**:除了MySQL本身,还需要关注Linux系统配置,如SWAP空间、内核参数等,它们也会影响MySQL的性能。 10. **定期维护**:脚本可能还会包含数据库的维护建议,如定期重建索引、清理无用数据等...
其他内核参数优化包括调整vm.swappiness以降低swap使用概率,设置vm.dirty_background_ratio和vm.dirty_ratio以确保数据持续刷新到磁盘,以及设置net.ipv4.tcp_tw_recycle和net.ipv4.tcp_tw_reuse以减少TIME_WAIT...
- MySQL的安装路径推荐在/opt/app/下创建子目录,例如/opt/app/mysql-版本号/,并使用xfs文件系统,例如分配至少40GB空间,但不低于20GB。 - 数据文件应放在一个专用的目录,例如/data/mysql/,并可采用tmpfs文件...
- 设置`vm.swappiness`小于等于10,以减少使用swap的概率。 - 设置`vm.dirty_ratio`和`vm.dirty_background_ratio`分别小于等于5%和10%,以避免因I/O压力过大导致内核挂起。 #### 四、编写高效的DDL与SQL ##### 1....
- 是否适合使用MySQL - **数据库优化**: - 内存管理 - 数据库结构(物理和逻辑) - 实例配置 ##### 3.3 优化维度 - **硬件** - **系统配置** - **数据库表结构** - **SQL及索引** #### 优化选择 - **成本**:...
此外,调整内核参数如vm.swappiness、vm.dirty_background_ratio和vm.dirty_ratio,可以减少swap的使用并保持磁盘I/O的稳定。设置net.ipv4.tcp_tw_recycle和net.ipv4.tcp_tw_reuse为1可以优化TCP连接。 在MySQL层,...
- **内存使用**:确保所有操作都在物理内存中完成,避免产生swap。 - **I/O性能**:包括IOPS、I/O等待时间(iowait)、服务时间(svctm)、利用率(%util)等。 - **数据库性能**:如事务处理速度(TPS/TpmC)、查询...
- 在`/etc/sysctl.conf`文件中添加`vm.swappiness=0`,以减少使用swap的概率。 - 使用deadline作为Linux I/O调度算法。 - 对于单机单实例配置,关闭NUMA支持。 - 推荐使用XFS或EXT4作为文件系统。 **3.3 硬件配置**...
通常我们会添加对内存的监控报警,例如:当memory或swap使用超过90%时,触发报警通知,需要及时介入排查。 如果已经出现OOM,则可以通过dmesg命令查看,CentOS7版本以上支持 -T选项,能将时间戳转成时
然而,针对特定应用,如MySQL 5.6和5.7,官方建议在内存充足的情况下,可以考虑不使用或删除swap分区,因为swap的使用可能导致I/O性能下降,从而影响数据库服务。Oracle也有类似建议,需要根据实际应用来调整swap...