`
IXHONG
  • 浏览: 449451 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Redis复制

阅读更多

    在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器去复制(replicate)另一个服务器,我们称呼被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave)。

    127.0.0.1:12345> SLAVEOF 127.0.0.1 6379

 

一、旧版(2.8版以前)复制功能的实现

    Redis的复制功能分为同步(sync)和命令传播(command propagate)两个操作:

    sync:

    当客户端向从服务器发送SLAVEOF命令,要求从服务器复制主服务器时,从服务器首先需要执行同步操作,将从服务器的数据库状态更新至主服务器当前所处的数据库状态。同步操作需要通过向主服务器发送SYNC命令来完成,以下是SYNC命令的执行步骤:

    1)从服务器向主服务器发送SYNC命令。

    2)收到SYNC命令的主服务器执行BGSAVE命令,在后台生成一个RDB文件,并使用一个缓冲区记录从现在开始执行的所有写命令。

    3)当主服务器的BGSAVE命令执行完毕时,主服务器会将BGSAVE命令生成的RDB文件发送给从服务器,从服务器接收并载入这个RDB文件,将自己的数据库状态更新至主服务器执行BGSAVE命令时的数据库状态。

    4)主服务器将记录在缓冲区里面的所有命令发送给从服务器,从服务器执行这些写命令,将自己的数据库状态更新至主服务器数据库当前所处的状态。

    command propagate:

    在同步操作执行完毕后,主从服务器进入命令传播阶段,主服务器会将自己执行的写命令,发送给从服务器执行(异步),当从服务器执行了相同的写命令后,主从服务器将再次回到一致状态。

    缺陷:

    在2.8版以前,从服务器对主服务器的复制可以分为以下两种情况:

    初次复制:从服务器以前没有复制过任何主服务器,或者从服务器当前要复制的主服务器和上一次复制的主服务器不同。

    断线后重复制:处于命令传播阶段的主从服务器因为网络原因而中断了复制,但从服务器通过自动重连重新连上了主服务器,并继续复制主服务器。

    对于初次复制来说,旧版复制功能能够很好地完成任务,但对于断线后重复制来说,旧版复制功能(全量复制)虽然也能让主从服务器重新回到一致状态,但效率非常低,毕竟SYNC命令是个非常耗费资源的操作。

 

二、新版复制功能的实现

    新版采用PSYNC命令代替SYNC命令来执行复制时的同步操作。PSYNC命令具有完整重同步(full resynchronization)和部分重同步(partial resynchronization)两种模式:

    完整重同步用于处理初次复制情况,执行步骤和SYNC执行步骤基本一样。

    部分重同步则用于处理断线后重复值情况:当从服务器在断线后重新连接主服务器时,如果条件允许,主服务器可以将主从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据库更新至主服务器当前所处的状态。

 

    部分重同步的实现:

    部分重同步功能由以下三个部分构成:

    *主服务器的复制偏移量(replication offset)和从服务器的复制偏移量。

    *主服务器的复制积压缓冲区(replication backlog)。

    *服务器的运行ID(run ID)。

 

    执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量:

    *主服务器每次想从服务器传播N个字节的数据时,就将自己的offset+N。

    *从服务器每次收到主服务器传播来的N个字节的数据时,就将自己的offset+N。

    通过对比主从服务器的offset,程序可以很容易知道主从服务器是否处于一致状态。如果因为断线产生offset不一致,主服务器应该对从服务器执行完整重同步还是部分重同步呢?如果执行部分重同步,主服务器又如何补偿从服务器在断线期间丢失的那部分数据呢?以上问题的答案都和复制积压缓冲区有关。

 

    复制积压缓冲区是由主服务器维护的一个固定长度先进先出(FIFO)队列,默认大小为1MB。当主服务器进行命令传播是,它不仅会将写命令发送给所有从服务器,还会将命令入队到复制积压缓冲区里面。因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。

    当从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的offset发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作:

    如果offset偏移量之后的数据(也即是偏移量offset+1开始的数据)仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。相反,如果offset偏移量之后的数据已经不存在于复制积压缓存区,那么主服务器将对从服务器执行完整重同步操作。

 

    除了复制偏移量和复制积压缓冲区之外,实现部分重同步还需要用到服务器运行ID,此ID由服务器启动时自动生成,由40个随机的十六进制字符组成。

    当从服务器对主服务器进行初次复制是,主服务器会将自己的运行ID传送给从服务器,而从服务器则会将这个运行ID保存起来。当从服务器断线并重连上一个主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行ID,如果主服务器收到的这个ID与自己的ID相同,主服务器可以继续尝试执行部分重同步操作,否则执行完整重同步操作。

 

三、心跳检测

    在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:

    REPLCONF ACK <replication_offset>

    其中replication_offset是从服务器当前的复制偏移量。

    发送REPLCONF ACK命令对于主从服务器有三个作用:

    *检测主从服务器的网络连接状态。如果主服务器超过一秒没收到REPLCONF ACK命令,主服务器就知道主从服务器之间的连接出问题了。

    *辅助实现min-slaves。

    Redis的min-slaves-to-write和min-slaves-max-lag两个选项可以防止主服务器在不安全的情况下执行写命令。举个例子,如果我们向主服务器提供以下设置:

    min-slaves-to-write 3

    min-slaves-max-lag 10

    那么在从服务器的数量少于3个,或者三个从服务器的延迟(lag)值都大于或等于10秒时,主服务器将拒绝执行写命令,这里的延迟值就是INFO replication命令返回的lag值。

    *检测命令丢失

    如果因为网络故障,主服务器传播给从服务器的写命令在半路丢失,那么当从服务器向主服务器发送REPLCONF ACK命令时,主服务器将发觉从服务器当前的复制偏移量少于自己的复制便宜量,然后主服务器就会根据从服务器提交的复制偏移量,在复制积压缓冲区里面找到从服务器缺少的数据,并将这些数据重新发送给从服务器。

 

 

1
0
分享到:
评论

相关推荐

    Node.js-GryadkaJS:一个基于Paxos算法的Redis复制层支持动态重新配置

    在本文中,我们将深入探讨一个基于Node.js的项目——GryadkaJS,这是一个针对Redis复制层的独特实现,它利用了Paxos算法来支持动态重新配置。 GryadkaJS的核心特性是其采用的Paxos算法。Paxos是一种分布式一致性...

    Redis 复制与sentinel(上).flv

    Redis 复制与sentinel(上).flv

    Redis 复制与sentinel(下).flv

    Redis 复制与sentinel(下).flv

    redis-copy, 将一个redis数据库复制到另一个数据库.zip

    redis-copy, 将一个redis数据库复制到另一个数据库 RedisCopy这个工具提供了一种将一个redis数据库的内容移动到另一个redis数据库的方法。 代码是由包含在redis源代码中的 redis-copy.rb 脚本插件激发的,但目标是...

    第7章 Redis复制的原理与优化.rar

    一站式学习Redis 从入门...包含Redis基础,使用经验介绍、Java,Python客户端示范、Redis使用规范,由浅入深讲解并伴有企业中Redis开发的相关项目以及大规模Redis的实战经验,是开发和运维人员系统学习Redis的必备内容

    Redis主从复制和集群配置

    ### Redis主从复制和集群配置详解 #### 一、Redis主从复制原理及配置 **1.1 概述** Redis的主从复制机制是一种重要的数据同步方式,它支持一个或多个从数据库(slave)与主数据库(master)之间进行数据同步。其中,...

    redis服务端绿色版64位windows Redis-x64-3.2.100

    六、Redis复制 Redis支持主从复制,主服务器的数据变化会自动同步到从服务器,这样可以实现数据备份和负载均衡。 七、Redis事务 Redis的事务支持多条命令的原子执行,确保在执行过程中的隔离性。 八、Redis发布...

    Redis实战_Redis实战中文完整版_Redis快速入门_Redis数据类型及操作_Redis常用

    5. **Redis复制**:通过主从复制,可以实现数据的冗余和故障恢复,确保服务的高可用性。复制的配置和监控也是重要的实践内容。 6. **Redis集群**:当单机Redis无法满足需求时,可以搭建Redis Cluster集群,实现数据...

    一文带你揭开Redis复制原理的神秘面纱

    Redis复制原理详解 Redis是一种高性能的键值存储系统,它以非结构化的内存数据库形式运行,常被用作缓存和数据存储。由于其高效、快速的特性,Redis在微服务架构中尤其受到青睐,用于处理高并发环境下的热点数据。...

    redis-replicator:Redis复制工具。 支持同步,psync,psync2。 可以解析rdb,aof,混合的rdb和aof文件。 支持redis-6.2

    在redis.conf中打开评论 4.2.3。 编写模块解析器 4.2.4。 编写命令解析器 4.2.5。 注册此模块解析器和命令解析器并处理事件 4.2.6。 放在一起 4.3。 溪流 4.4。 编写自己的rdb解析器 4.5。 Redis URI 5.其他主题 ...

    redis从安装到三主三从集群_redis_redis三主三从_

    二、Redis复制 1. 主从配置:在主节点上运行`redis-cli`客户端,使用`SLAVEOF IP PORT`命令设置从节点为主节点的副本。从节点也会同步主节点的数据。 2. 反向复制:从节点也可设置为主节点,形成双向复制。但为了...

    Redis主从复制以及主从复制技术原理.docx

    Redis 主从复制技术原理 概述 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。Redis 主从复制是指将一台 Redis 服务器的数据,复制到...

    redis常用命令,redis配置文件,redis持久化,redis事务,redis主从复制,jedis的使用

    下面是对 Redis 的常用命令、配置文件、持久化、事务、主从复制、Jedis 使用的详细讲解。 Redis 常用命令 Redis 提供了很多有用的命令来管理和操作数据。下面是一些常用的 Redis 命令: * SET key value:设置...

    redis主从复制集群

    ### Redis 主从复制集群知识点详解 #### 一、Redis 主从复制概述 Redis 主从复制是一种数据冗余机制,主要用于实现读写分离、负载均衡以及数据备份等目的。通过搭建主从复制集群,可以有效避免单点故障问题,并且...

    redis资源文件下载

    6. **Redis复制**:Redis的复制功能可以创建一个或多个从服务器,主服务器的数据变化会实时同步到从服务器,提供高可用性和故障恢复能力。 7. **Redis Sentinel**:虽然3.0.5版本的Redis集群功能可能不完善,但...

    redis笔记.rar

    5. Redis复制: - Redis支持主从复制,可以构建高可用集群,当主节点故障时,从节点可以接管服务。 - 复制是异步的,确保了写操作的低延迟。 6. Redis发布订阅: - Redis的pub/sub(发布/订阅)模型允许创建频道...

    Redis 笔记.pdf

    主从同步是Redis复制的基础,包括CAP理论基础和主从复制的具体配置,以及哨兵模式用于监控和自动故障转移。 最后,Redis集群是Redis提供的高可用、高扩展性的数据存储方案,支持自动分片和故障转移。集群的搭建、...

    redis4.0.8

    4. **复制与集群**:在生产环境中,可以考虑使用Redis复制功能实现主从架构,提高可用性。如果需要更大规模的扩展,可以搭建Redis Cluster集群。 关于提供的`安装教程.pdf`,它应该包含更详细的步骤、最佳实践和...

    redis-windows-7.0.6.zip

    六、Redis复制 通过主从复制,可以实现数据备份和负载均衡。一个Redis实例作为主节点,多个实例作为从节点,实时同步主节点的数据变化。 七、Redis事务 Redis支持简单的事务,可以一次执行多个命令,保证原子性。...

Global site tag (gtag.js) - Google Analytics