`
woodding2008
  • 浏览: 289560 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Redis复制策略

 
阅读更多

       在Redis中,用户可以通过执行SLAVEOF命令或设置slaveof选项,让一个服务器去复制(replicate)另一个服务器,我们称被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则称为从服务器(slave)。假设有两个Redis实例,127.0.0.1:6379和127.0.0.1:6380,6379设置为主,6380作为从,进行读写数据测试。

 

6380>SLAVEOF 127.0.0.1 6379
6379>SET key “test”
6380>GET key
6379>DEL key
6379>EXISTS key
6380>EXISTS key

 

SYNC同步

        SYNC是Redis2.8以前使用的同步机制,当客户端向从服务发送SLAVEOF命令,要求从服务器复制主服务器时,从服务器首先需要执行同步操作,将从服务器的数据库状态更新至主服务器当前所处的数据库状态。

      从服务队主服务器的同步操作需要向主服务器发送SYNC命令来完成,以下是SYNC命令执行的步骤:

  • 从服务器向主服务器发送SYNC命令
  • 收到SYNC服务器命令的主服务器执行BGSAVE命令,在后台生成一个RDB文件,并使用一个缓冲区记录从现在开始执行的所有写命令。
  • 当主服务器的BGSAVE命令执行完毕时,主服务器会将BGSAVE命令生成的RDB文件发送给从服务器,从服务器接收并载入这个RDB文件,将自己的数据库状态更新至主服务器执行BGSAVE命令时的数据库状态。
  • 主服务器将记录在缓冲区里面的所有写命令发送给从服务,从服务器执行这些写命令,将自己的数据库状态更新至主服务器数据库当前所处的状态。

命令传播

       在SYNC命令同步操作完成之后,主从服务器两者的数据达到一致的状态,但这种一致并不是一成不变的,每当主服务器执行客户端发送的写命令时,主服务的数据库就有可能会被修改,并导致主从服务器状态不再一致。

       为了让主从服务器再次回到一致状态,主服务需要对从服务器执行命令传播操作,主服务器会将自己执行的写命令,发送给从服务器执行,当从服务执行之后,主从再次回到一致状态。

 

SYNC复制功能缺陷

        Redis2.8以前主从服务器复制可以分为以下两种情况:

  • 初次复制,从服务器以前没有父之过任何主服务器,或者从服务器当前要复制的主服务器和上一次复制的主服务器不同。
  • 断线后重复制,处于命令传播阶段的主从服务器因为网络原因造成了中断复制,但从服务器通过自动重连接上了主服务器,并继续复制主服务器。

      对于初次复制来说,复制功能能够很好的完成任务,但对于短线后重复制来说,复制功能虽然能让主从服务器重新回到一致状态,但效率非常低,过程见下面表格。

       在时间T10091,从服务器终于重新连接上主服务器,因为这是主从服务器状态已经不再一致,所以从服务器将向主服务器发送SYNC命令,而主服务器会将包含k1至k10089的RDB文件发送给从服务器,从服务器通过接收和载入这个RDB文件来讲自己的数据库更新至主服务器当前所处的状态。

      虽然在此执行SYNC命令能让数据重新回到一致状态,实际上这个断线重连的复制过程成本很高,同步RDB文件并非是优秀的设计。

  • 主从服务器在时间T0至T10086中一直处于一致状态,这两个服务器的数据大部分都是相同的。
  • 从服务器想要将自己更新至主服务器当前状态,真正需要的是主从服务器连接中断期间的数据。
  • 可惜的是,复制功能并没有这样做,而是让主服务器重新执行了一遍BGSAVE。

     

PSYNC同步

      为了解决SYNC同步的问题,在Redis2.8以后使用PSYNC命令代替SYNC来执行复制时的同步操作。

      PSYNC命令具有完整同步(full resynchronization)和部分重同步(partial resynchronization)两种模式。

  • 完整重同步用于处理初次复制情况,完整重同步的执行步骤和SYNC命令的执行步骤基本一样,他们都是通过让主服务器创建并发送RDB文件,以及向从服务器发送保存在缓冲区里面的命令来同步。
  • 部分重同步用户处理断线后重复制情况,当从服务器在断线后重新连接上主服务器时,如果条件允许,主服务器可以将从服务器连接断开期间的谢明令发送给从服务器,从服务器接收并执行这些写命令,就可以将数据库更新至主服务器当前所处状态。

PSYNC同步实现

       部分重同步功能由以下三部分构成:

  • 主服务的复制偏移量(replication offset)和从服务器的复制偏移量
  • 主服务器的复制积压缓冲区(replication backlog)
  • 服务器的运行ID(run ID)

复制偏移量

      执行复制的双方--主从服务器会分别维护一个复制偏移量

  • 主服务器每次向从服务器传播N个字节的数据时,就将自己的复制偏移量加上N
  • 从服务器每次收到主服务器传播来的N个字节数据时,就将自己的复制偏移量的值加上N。

 

复制积压缓冲区

      复制积压缓冲区是由主服务器维护的一个固定长度(fixed-size)先进先出(FIFO)队列,默认大小为1MB。当主服务器进行命令传播是,它不仅会将写命令发送所有从服务器,还会将写命令入队列到复制积压缓冲区里面。

       因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。

       当从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器,主服务器会根据这个复制偏移量来决定从服务器执行何种同步操作:

  •  如果offset偏移量之后的数据(偏移量offset+1开始的数据)仍然在复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。
  • 如果offset偏移量之后的数据已经不存在与复制积压缓冲区,那么主服务器对从服务器执行完整从同步操作。

 

服务器运行ID

      除了复制偏移量和复制积压缓冲区之外,实现部分重同步还需要用到服务器运行ID(run ID)。每个redis服务器,不论是主服务器还是从服务器,都会有自己的运行ID,运行ID在服务器启动时自动生成,由40个随机的十六进制字符组成。

      当从服务器对主服务器进行初次复制时,主服务器会将自己运行ID发送给从服务器,从服务器会将这个ID保存起来。当从服务器断线并重新连上一个主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行ID。

  • 如果从服务器保存的运行ID和当前连接的主服务器运行ID相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务可以尝试执行部分重同步。
  • 如果从服务器保存的运行ID和当前连接的主服务器运行ID不相同,那么说明从服务器断线之前复制的主服务器并不是当前连接的这个主服务器,主服务器将对从服务器执行完整的重同步操作。

     

 

 

 

https://redis.io/topics/replication

 

  • 大小: 80.9 KB
  • 大小: 40.1 KB
  • 大小: 54.9 KB
  • 大小: 24.9 KB
分享到:
评论

相关推荐

    SSM项目-redis缓存策略和配置实现

    实现redis缓存策略和Spring集成redis配置 1.1 Redis是一个key-value存储系统,支持多种存储结构,如String,Hash,list,zset等; 1.2 Redis采用内存中数据集的形式,因此读写性能优异; 1.3 Redis支持数据持久化,支持...

    Redis之主从复制ppt分享

    总的来说,Redis的主从复制机制为系统提供了高可用性和数据冗余,通过灵活的配置和复制策略,确保了服务的稳定性和数据的一致性。在实际应用中,合理运用主从复制可以显著提升系统的可扩展性和容错能力。

    Redis 题库 笔记 PDF文件电子版 494道题 2023年 精选 面试 自学 考试

    一级分类:基础知识- Redis 数据类型- Redis 命令- Redis 过期策略- Redis 事务- Redis 持久化- Redis 发布订阅- Redis Lua 脚本- Redis 位图操作- Redis 分布式锁- Redis 主从复制- Redis 集群- Redis Sentinel- ...

    redis HA策略

    首先,Redis 的 HA 策略主要包括主从复制(Replication)和哨兵系统(Sentinel)。主从复制是基础,哨兵系统在此基础上提供了更高级的监控、故障检测和自动故障转移功能。 1. 主从复制: - 在 Redis 中,数据的写...

    深入剖析Redis主从复制.pdf

    Redis的主从复制策略允许数据的弱一致性,这意味着在某些情况下,不同服务器上的数据可能不是完全一致的,但最终会达到一致。这种设计适用于对实时性要求不高的场景,如社交媒体应用。对于需要强一致性的应用,例如...

    redis-windows-Redis7.0.0.zip

    Redis,全称Remote Dictionary Server,是一款开源的、高性能的键值存储系统,广泛应用于...通过理解其数据类型、命令操作、持久化机制以及复制与高可用性策略,开发者可以充分利用Redis优化应用程序,提升系统性能。

    redisredis redis redis redis

    3. **复制**:Redis 支持主从复制,通过复制,可以创建多个从节点来提高读取性能和容错性。主节点负责写操作,从节点接收主节点的复制流并执行,确保数据一致性。 4. **事务**:Redis 通过 Multi、Exec、Discard 和...

    Redis_redis_

    Redis是一种高性能的键值对数据存储...例如,北京动力节点的Redis课程可能涵盖了Redis的基本概念、数据结构、持久化、复制、事务、安全等内容,杨利军老师的讲解能够帮助初学者快速上手Redis,并深入理解其工作原理。

    redis-windows-redis7.0.5.zip

    在实际部署和使用中,用户需要根据自己的需求配置`redis.windows.conf`,如端口设置、数据持久化策略、最大内存限制等。启动`redis-server.exe`后,可以通过`redis-cli.exe`连接并测试Redis服务器,进行数据的存取...

    redis 和 redis 可视化工具

    3. **主从复制**:支持主从复制,可以实现数据冗余和故障切换,提高系统的可用性。 4. **事务**:Redis 支持简单的事务,可以一次执行多个操作。 5. **发布/订阅**:支持发布订阅模式,可以用于实现消息传递。 6. **...

    redis7.2.3-windows

    对于Windows环境,优化Redis性能包括合理配置系统资源(如内存分配)、限制无用的后台进程、使用合适的持久化策略、以及定期进行数据清理等。 10. **安全与防火墙设置** 考虑到Redis默认使用未加密的端口,应设置...

    redis服务端绿色版64位windows Redis-x64-3.2.100

    六、Redis复制 Redis支持主从复制,主服务器的数据变化会自动同步到从服务器,这样可以实现数据备份和负载均衡。 七、Redis事务 Redis的事务支持多条命令的原子执行,确保在执行过程中的隔离性。 八、Redis发布...

    linux系统redis免安装版

    - `etc`:通常存放配置文件,比如`redis.conf`,是Redis的主要配置文件,用于设置端口、密码、持久化策略等。 - `bin`:一般包含Redis的可执行二进制文件,如`redis-server`、`redis-cli`等,是运行和管理Redis...

    RedisStudio Redis监控工具

    5. **主从复制**: 通过复制技术,可以构建高可用的Redis集群,当主节点出现问题时,可以从一个或多个从节点中选择一个新的主节点。 **RedisStudio介绍** RedisStudio是一款专门针对Redis设计的可视化管理工具,它...

    Redis-6.2.7 Windows 版

    5. **配置文件**:`redis.conf`是Redis的主要配置文件,包含了服务器端口、数据库数量、持久化策略、安全性设置等关键选项。对于Windows用户,可能需要修改默认配置以适应Windows环境。 6. **客户端连接**:Redis...

    Redis-7.0.5-x64 for Windows 64位版 Redis 7.0.5

    3. **sentinel.conf**: Redis Sentinel是Redis的高可用性解决方案,它监控主从复制集群,当检测到主节点故障时,自动进行故障转移。sentinel.conf文件用于配置Sentinel节点,包括主从节点信息、故障检测阈值和故障...

    Redis 主从复制1

    Redis 主从复制是一种数据冗余策略,用于保持多个Redis实例之间的数据一致性。在这个过程中,一个Redis实例(称为Master)作为主要的数据存储,负责接收和处理客户端的写操作,而其他实例(称为Slaves或Replicas)则...

    redis实战 红豆出品 兄弟连redis

    Redis之所以受到广大开发者的喜爱,是因为它具有速度快、支持数据持久化、支持复制和高可用、支持事务等特性。 本知识点将从Redis的基本使用、数据类型及操作、常用命令、高级特性四个方面详细介绍Redis。 一、...

Global site tag (gtag.js) - Google Analytics