`
longzhun
  • 浏览: 372094 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MySQL主从同步延迟解决方案

 
阅读更多

第一种方案:

使用MySQL Proxy解决MySQL主从同步延迟

MySQL的主从同步机制非常方便的解决了高并发读的应用需求,给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的,而且由于服务器负载、网络拥堵等方面的原因,Master与Slave 之间的数据同步延迟是完全没有保证的。短在1秒内,长则几秒、几十秒甚至更长都有可能。 

由于数据延迟问题的存在,当应用程序在Master 上进行数据更新,然后又立刻需要从数据库中读取数据时,这时候如果应用程序从Slave上取数据(这也是当前Web开发的常规做法),就可能出现读取不到期望的数据,造成程序运行异常。 

解决这个问题有多种方式,比如最简单的在所有的insert和update之后,强制sleep几秒钟。这是非常粗鲁的方式,对于更新操作不是很高的中小型系统,此方式基本能解决问题。 

另外一种方式是应用程序把被更新的数据保存在本机的内存(或者集中式缓存)中,如果在写入数据完成后需要直接读取数据,则从本机内存中读取。这种方式的缺点是极大的增加了应用程序的复杂度,而且可靠性并不能完全得到保障。 

使用MySQL Proxy可以很方便的解决这个问题。MySQL Proxy是基于MySQL Client 和 MySQL Server之间的代理程序,能够完成对Client所发请求的监控、修改。从Client角度看,通过Proxy访问Server和直接访问Server没有任何区别。对于既有的程序而言,只要把直接被访问的Server的IP地址和端口号换成Proxy的IP地址和端口号就可以。 

MySQL Proxy的工作原理也较简单。在Proxy启动时可以指定Proxy所需要使用的lua脚本,在lua脚本中预先实现6个方法: 

    * connect_server()     // 接收到Client的连接请求时调用 
    * read_handshake()   // 
    * read_auth()               // 读取Client的认证信息时调用 
    * read_auth_result() // 读取认证结果时调用 
    * read_query()            // 读取Client的query请求时调用 
    * read_query_result()   //读取query结果时调用 

当 Proxy接收到Client请求时,在请求的不同的阶段会调用上面的不同方法。这样Proxy使用者就可以根据自己的业务需求,自由的实现这6个方法达到目的。 

通过在read_query()中加入代码,我们可以截取出当前的请求是insert、update还是select,然后把 insert和update请求发送到Master中,把select请求发送到Slave中,这样就解决了读写分离的问题。 

在解决了读写分离后,如何解决同步延迟呢? 

方法是在Master上增加一个自增表,这个表仅含有1个的字段。当Master接收到任何数据更新的请求时,均会触发这个触发器,该触发器更新自增表中的记录。如下图所示: 
 

 mysql_proxy_write 

由于Count_table也参与Mysq的主从同步,因此在Master上作的 Update更新也会同步到Slave上。当Client通过Proxy进行数据读取时,Proxy可以先向Master和Slave的 Count_table表发送查询请求,当二者的数据相同时,Proxy可以认定 Master和Slave的数据状态是一致的,然后把select请求发送到Slave服务器上,否则就发送到Master上。如下图所示: 


 mysql_proxy_read 

通过这种方式,就可以比较完美的结果MySQL的同步延迟不可控问题。之所以所“比较完美”,是因为这种方案double了查询请求,对Master和Slave构成了额外的压力。不过由于Proxy与真实的Mysql Server采用连接池的方式连接,因此额外的压力还是可以接受的
 
 
 
第二种方案:
 让缓存顶一会
 
如果更新了某个item,把item id放进redis,过期时间5分钟。 
下次读取该item时,如果id在redis命中,读主库,不命中,读从库。 
 
第三种方案:
自己写个dbproxy层, 一般情况下读从库,有响应时间要求的程序里面设置 
readMaster=true, 让dbproxy读主库。 
 
  • 大小: 23.7 KB
  • 大小: 30.5 KB
分享到:
评论

相关推荐

    mysql主从同步解决方案及优化

    淘宝资深工程师丁奇在2009年的分享中详细介绍了MySQL主从同步的原理、配置、优化以及在实际应用中遇到的问题和解决方案。 首先,MySQL主从同步的基本概念指的是在一个数据库实例(主库)上对数据进行修改操作后,...

    mysql主从同步配置

    MySQL主从同步是一种数据库复制技术,它允许数据从一个MySQL服务器(称为“主服务器”)实时复制到另一个或多个服务器(称为“从服务器”)。这种配置对于数据备份、负载均衡和高可用性至关重要。在Java开发中,了解...

    MySQL主从同步延迟的原因及解决办法

    MySQL主从同步是一种常见的数据库高可用性和读写分离策略,但在实践中可能会遇到主从延迟的问题。主从延迟主要由以下几个原因造成: 1. **单线程处理**:在早期版本的MySQL中,从服务器只有一个IO线程用于读取主...

    突破Java面试(50)-MySQL读写分离及主从同步延时解决方案.docx

    - **如何解决MySQL主从同步的延时问题?** **答案解析:** 1. **是否接触过MySQL读写分离?** 这是一个常见的面试问题,旨在考察候选人对于数据库优化的理解。在高并发场景下,通过将读写操作分开处理,可以显著...

    MySQL_主从原理问题解决方案和应用

    ### MySQL主从同步原理、问题、解决方案与应用详解 #### 一、MySQL主从同步基本流程 MySQL的主从同步机制是一种数据复制技术,用于在多个数据库服务器间保持数据的一致性。它允许数据从主服务器(Master)自动复制...

    win系统下的mysql主从同步配置

    MySQL主从同步是数据库架构中常见的一种高可用性解决方案。它可以实现数据的实时备份,分担主库读写操作压力,并提供数据的热备份。在Windows操作系统下配置MySQL主从同步涉及多个步骤,以下将详细解读配置的原理、...

    MySQL 主从原理、问题、解决方案和应用-淘宝大牛丁奇

    综上所述,通过理解MySQL主从同步的基本原理、识别潜在的问题,并采取相应的解决方案,可以有效提升系统的稳定性和性能。无论是采用多线程更新还是引入Transfer这样的工具,都能够显著改善主从同步的效率。

    mysql主从同步配置.docx

    MySQL 主从同步是一种常见的数据库高可用性和负载均衡解决方案,它允许数据从一个主数据库(Master)实时复制到一个或多个从数据库(Slave)。在这种配置下,所有写操作都在主库上执行,然后由从库自动并异步地复制...

    MySQL 主从原理、问题、解决方案和应用——丁奇.pdf

    MySQL主从同步过程中可能会遇到“延迟”问题,即从服务器未能及时跟上主服务器的更新速度,导致数据不一致。主要原因包括: 1. **主库更新多线程:** 主服务器可能同时执行多个写操作,而从服务器默认情况下只使用...

    MYSQL主从同步实战

    ### MySQL 主从同步实战 #### 一、MySQL主从复制简介 MySQL的主从复制机制是一种数据冗余和高...通过以上步骤,我们不仅实现了ServA和ServB之间的MySQL主从同步,还确保了系统在面对故障时具备更高的可靠性和可用性。

    小记一次mysql主从配置解决方案

    遇到的困难包括虚拟机网络配置、主从同步延迟等,这些问题需要根据具体情况逐个排查和解决。 总的来说,MySQL主从配置是数据库管理中的重要技术,它能有效提高系统的可用性和性能。但在实施过程中,需要对MySQL的...

    mysql主从同步搭建修改优化版知识.pdf

    MySQL主从同步是一种高可用性和数据冗余的解决方案,它允许数据在主服务器(Master)和从服务器(Slave)之间实时或近实时地复制。这一过程对于实现数据库的负载均衡、故障恢复和数据安全性至关重要。以下是对搭建和...

    MySQL主从复制部署实施文档

    #### 三、常见问题与解决方案 - **同步延迟**: 如果出现较大的同步延迟,可能是因为网络问题或者从服务器的处理能力不足。 - **错误日志**: 定期检查错误日志文件,以便及时发现并解决问题。 - **权限问题**: 确保...

    Mysql主从配置.docx

    为了提高系统的整体性能和可靠性,采用MySQL主从配置成为一种常见的解决方案。 - **减少IO操作**:通过将读写操作分散到不同的服务器上,可以有效降低单个服务器的负载,减少I/O操作,从而提高系统的响应速度和处理...

    mysql主从同步搭建修改优化版借鉴.pdf

    MySQL主从同步是一种常见的数据库高可用性和负载均衡解决方案,它允许数据从一个主服务器(Master)实时复制到一个或多个从服务器(Slave)。在这种架构中,主服务器处理写操作,而从服务器处理读操作,从而分散了...

    SpringBoot第 12 讲:SpringBoot+MySQL主从复制、读写分离

    主从复制是MySQL数据库的一种高可用性解决方案,其中一台服务器(主服务器)处理所有写操作,而其他服务器(从服务器)同步主服务器上的数据变化,从而形成一个读写分离的环境。这种设计模式有助于减轻主服务器的...

    MySQL 主从复制模式全面实践

    在实际应用中,需要进行复制的测试,并调整配置,处理可能出现的问题,如数据同步延迟、复制冲突等问题。 综上所述,MySQL的主从复制模式为数据库的稳定运行和高效管理提供了可靠的解决方案。在实施过程中,需要...

    mysql主从同步镜像备份镜像备份汇编.pdf

    ### MySQL主从同步镜像备份知识点详解 #### 一、MySQL主从同步基本概念 - **主从复制机制**:MySQL中的主从复制是一种数据复制技术,它将一个MySQL服务器(主服务器)的数据异步复制到一个或多个其他MySQL服务器...

Global site tag (gtag.js) - Google Analytics