`

mysql主从延迟优化

阅读更多

问题现象:

       一套mysql集群有1台主库和2台从库组成,现增加1台新的从库,发现新增加的从库一直追不上主库,且越差越远,之前的2台从库没有问题。

解决方法:

     调整mysql从库的下面2个参数

 

 set global innodb_flush_log_at_trx_commit=0;
 set global sync_binlog=0;

 

参数说明如下:

MySQL 重要参数 innodb_flush_log_at_trx_commit 和 sync_binlog
innodb_flush_log_at_trx_commit
提交事务的时候将 redo 日志写入磁盘中,所谓的 redo 日志,就是记录下来你对数据做了什么修改,比如对 “id=10 这行记录修改了 name 字段的值为 xxx”,这就是一个日志。如果我们想要提交一个事务了,此时就会根据一定的策略把 redo 日志从 redo log buffer 里刷入到磁盘文件里去。此时这个策略是通过 innodb_flush_log_at_trx_commit 来配置的,他有几个选项。
值为0 : 提交事务的时候,不立即把 redo log buffer 里的数据刷入磁盘文件的,而是依靠 InnoDB 的主线程每秒执行一次刷新到磁盘。此时可能你提交事务了,结果 mysql 宕机了,然后此时内存里的数据全部丢失。
值为1 : 提交事务的时候,就必须把 redo log 从内存刷入到磁盘文件里去,只要事务提交成功,那么 redo log 就必然在磁盘里了。注意,因为操作系统的“延迟写”特性,此时的刷入只是写到了操作系统的缓冲区中,因此执行同步操作才能保证一定持久化到了硬盘中。
值为2 : 提交事务的时候,把 redo 日志写入磁盘文件对应的 os cache 缓存里去,而不是直接进入磁盘文件,可能 1 秒后才会把 os cache 里的数据写入到磁盘文件里去。
可以看到,只有1才能真正地保证事务的持久性,但是由于刷新操作 fsync() 是阻塞的,直到完成后才返回,我们知道写磁盘的速度是很慢的,因此 MySQL 的性能会明显地下降。如果不在乎事务丢失,0和2能获得更高的性能。

# 查询
select @@innodb_flush_log_at_trx_commit;


sync_binlog
该参数控制着二进制日志写入磁盘的过程。

该参数的有效值为0 、1、N:

0:默认值。事务提交后,将二进制日志从缓冲写入磁盘,但是不进行刷新操作(fsync()),此时只是写入了操作系统缓冲,若操作系统宕机则会丢失部分二进制日志。

1:事务提交后,将二进制文件写入磁盘并立即执行刷新操作,相当于是同步写入磁盘,不经过操作系统的缓存。

N:每写N次操作系统缓冲就执行一次刷新操作。

将这个参数设为1以上的数值会提高数据库的性能,但同时会伴随数据丢失的风险。
二进制日志文件涉及到数据的恢复,以及想在主从之间获得最大的一致性,那么应该将该参数设置为1,但同时也会造成一定的性能损耗。

分享到:
评论

相关推荐

    mysql主从同步解决方案及优化

    淘宝资深工程师丁奇在2009年的分享中详细介绍了MySQL主从同步的原理、配置、优化以及在实际应用中遇到的问题和解决方案。 首先,MySQL主从同步的基本概念指的是在一个数据库实例(主库)上对数据进行修改操作后,...

    mysql主从同步搭建修改优化版.pdf

    以下是对搭建、修改和优化MySQL主从同步过程的详细解释: 1. **环境配置**: 主服务器(Master)和从服务器(Slave)通常运行在不同的硬件或虚拟机上,以实现物理隔离和负载分散。在这个例子中,两者都是CentOS ...

    MySQL主从延迟现象及原理分析详解

    凌晨对线上一张表添加索引,表数据量太大(1亿+数据,数据量50G以上),造成主从延迟几个小时,各个依赖从库的系统无法查询数据,最终影响业务。 现在就梳理下主从延迟的原理。 二、原理 根据 MySQL 官方文档 MySQL ...

    SpringBoot第 12 讲:SpringBoot+MySQL主从复制、读写分离

    总的来说,SpringBoot与MySQL的主从复制和读写分离是企业级应用中常见的数据库架构设计,通过合理配置和优化,可以显著提高系统的稳定性和响应速度。通过学习和实践这些知识,开发者能够更好地构建可扩展、高可用的...

    MySQL主从复制部署实施文档

    ### MySQL主从复制部署实施知识点 #### 一、MySQL主从复制概述 MySQL主从复制是一种数据复制技术,它能够实现在多个服务器之间复制数据。通常包括一个主服务器(Master)和一个或多个从服务器(Slave)。在主从复制...

    MySQL主从数据校验工具

    MySQL主从数据校验工具是数据库管理中一个关键的组件,尤其在分布式系统或高可用性设置中,如主从复制架构。这类工具的主要目的是确保主数据库与从数据库之间的数据一致性,防止因网络延迟、错误同步或其他问题导致...

    MySQL主从不一致检查与修复

    MySQL主从不一致问题在分布式数据库环境中经常遇到,它可能会导致数据丢失、业务中断等严重后果。本主题将深入探讨MySQL主从不一致的原因、检查方法以及修复策略,旨在帮助数据库管理员有效地解决这类问题。 一、...

    mysql主从数据搭建问题处理

    8. **工具辅助**:有许多工具可以帮助我们管理和优化MySQL主从复制,如`pt-table-checksum`用于检测主从数据一致性,`mysql-router`实现读写分离,`replication-manager`自动化管理复制。 9. **监控与调优**:持续...

    MySQL主从复制架构原理与配置实践

    ### MySQL主从复制架构原理与配置实践 #### 一、MySQL主从复制概述 MySQL主从复制是一种常用的技术手段,用于提高数据库系统的可用性、扩展性和数据安全性。它通过将一个MySQL实例(主服务器)的数据实时复制到一...

    mysql主从配置资源

    MySQL主从配置是数据库高可用性和负载均衡的一种常见策略,尤其在Windows环境下,为了实现读写分离、主从复制和一主多从架构,可以极大地提高数据库系统的性能和稳定性。结合Spring框架,我们可以轻松地在应用程序中...

    mysql主从同步配置

    MySQL主从同步是一种数据库复制技术,它允许数据从一个MySQL服务器(称为“主服务器”)实时复制到另一个或多个服务器(称为“从服务器”)。这种配置对于数据备份、负载均衡和高可用性至关重要。在Java开发中,了解...

    深入mysql主从复制延迟问题的详解

    MySQL的主从复制是分布式数据库系统中常见的高可用...总之,理解MySQL主从复制的机制和延迟原因对于优化数据库系统的性能和确保数据一致性至关重要。通过监控、调整和优化,可以有效地管理和减少主从复制中的延迟问题。

    MySQL主从复制配置文档

    MySQL主从复制是一种数据库高可用性和数据冗余的解决方案,它允许数据从一个服务器(主节点)实时同步到另一个或多个服务器(从节点)。这种架构能够实现读写分离,提高系统的读取性能,并且在主节点出现故障时,...

    MySQL 主从原理、问题、解决方案和应用——丁奇.pdf

    MySQL主从同步过程中可能会遇到“延迟”问题,即从服务器未能及时跟上主服务器的更新速度,导致数据不一致。主要原因包括: 1. **主库更新多线程:** 主服务器可能同时执行多个写操作,而从服务器默认情况下只使用...

    MySQL 主从原理、问题、解决方案和应用-淘宝大牛丁奇

    在MySQL主从同步过程中,可能会遇到同步延迟的问题。延迟通常指的是从库的更新落后于主库的状态。造成延迟的原因可能包括: 1. **主库更新多线程**:主库在进行更新操作时可能是多线程并发执行的,而从库的SQL线程...

    mysql主从备份

    1. **延迟问题**:如果从服务器落后太多,可能需要优化网络环境,或者调整binlog_format和binlog_row_image等参数。 2. **复制错误**:错误可能源于数据不一致、权限问题或binlog解析错误。根据错误信息进行排查和...

    zend框架里架构mysql主从

    在本教程中,我们将深入探讨如何在Zend框架中设置MySQL主从架构。 首先,理解MySQL主从复制的基本概念至关重要。主从复制是MySQL数据库的一种高可用性解决方案,其中一台服务器(主服务器)处理写操作,而其他...

    MySQL主从同步延迟的原因及解决办法

    MySQL主从同步是一种常见的数据库高可用性和读写分离策略,但在实践中可能会遇到主从延迟的问题。主从延迟主要由以下几个原因造成: 1. **单线程处理**:在早期版本的MySQL中,从服务器只有一个IO线程用于读取主...

Global site tag (gtag.js) - Google Analytics