Redis复制策略

       在Redis中，用户可以通过执行SLAVEOF命令或设置slaveof选项，让一个服务器去复制（replicate）另一个服务器，我们称被复制的服务器为主服务器（master），而对主服务器进行复制的服务器则称为从服务器（slave）。假设有两个Redis实例，127.0.0.1:6379和127.0.0.1:6380，6379设置为主，6380作为从，进行读写数据测试。

 

6380>SLAVEOF 127.0.0.1 6379
6379>SET key “test”
6380>GET key
6379>DEL key
6379>EXISTS key
6380>EXISTS key

 

SYNC同步

        SYNC是Redis2.8以前使用的同步机制，当客户端向从服务发送SLAVEOF命令，要求从服务器复制主服务器时，从服务器首先需要执行同步操作，将从服务器的数据库状态更新至主服务器当前所处的数据库状态。

      从服务队主服务器的同步操作需要向主服务器发送SYNC命令来完成，以下是SYNC命令执行的步骤：

• 从服务器向主服务器发送SYNC命令
• 收到SYNC服务器命令的主服务器执行BGSAVE命令，在后台生成一个RDB文件，并使用一个缓冲区记录从现在开始执行的所有写命令。
• 当主服务器的BGSAVE命令执行完毕时，主服务器会将BGSAVE命令生成的RDB文件发送给从服务器，从服务器接收并载入这个RDB文件，将自己的数据库状态更新至主服务器执行BGSAVE命令时的数据库状态。
• 主服务器将记录在缓冲区里面的所有写命令发送给从服务，从服务器执行这些写命令，将自己的数据库状态更新至主服务器数据库当前所处的状态。

命令传播

       在SYNC命令同步操作完成之后，主从服务器两者的数据达到一致的状态，但这种一致并不是一成不变的，每当主服务器执行客户端发送的写命令时，主服务的数据库就有可能会被修改，并导致主从服务器状态不再一致。

       为了让主从服务器再次回到一致状态，主服务需要对从服务器执行命令传播操作，主服务器会将自己执行的写命令，发送给从服务器执行，当从服务执行之后，主从再次回到一致状态。

 

SYNC复制功能缺陷

        Redis2.8以前主从服务器复制可以分为以下两种情况：

• 初次复制，从服务器以前没有父之过任何主服务器，或者从服务器当前要复制的主服务器和上一次复制的主服务器不同。
• 断线后重复制，处于命令传播阶段的主从服务器因为网络原因造成了中断复制，但从服务器通过自动重连接上了主服务器，并继续复制主服务器。

      对于初次复制来说，复制功能能够很好的完成任务，但对于短线后重复制来说，复制功能虽然能让主从服务器重新回到一致状态，但效率非常低，过程见下面表格。

       在时间T10091，从服务器终于重新连接上主服务器，因为这是主从服务器状态已经不再一致，所以从服务器将向主服务器发送SYNC命令，而主服务器会将包含k1至k10089的RDB文件发送给从服务器，从服务器通过接收和载入这个RDB文件来讲自己的数据库更新至主服务器当前所处的状态。

      虽然在此执行SYNC命令能让数据重新回到一致状态，实际上这个断线重连的复制过程成本很高，同步RDB文件并非是优秀的设计。

• 主从服务器在时间T0至T10086中一直处于一致状态，这两个服务器的数据大部分都是相同的。
• 从服务器想要将自己更新至主服务器当前状态，真正需要的是主从服务器连接中断期间的数据。
• 可惜的是，复制功能并没有这样做，而是让主服务器重新执行了一遍BGSAVE。

     

PSYNC同步

      为了解决SYNC同步的问题，在Redis2.8以后使用PSYNC命令代替SYNC来执行复制时的同步操作。

      PSYNC命令具有完整同步(full resynchronization)和部分重同步(partial resynchronization)两种模式。

• 完整重同步用于处理初次复制情况，完整重同步的执行步骤和SYNC命令的执行步骤基本一样，他们都是通过让主服务器创建并发送RDB文件，以及向从服务器发送保存在缓冲区里面的命令来同步。
• 部分重同步用户处理断线后重复制情况，当从服务器在断线后重新连接上主服务器时，如果条件允许，主服务器可以将从服务器连接断开期间的谢明令发送给从服务器，从服务器接收并执行这些写命令，就可以将数据库更新至主服务器当前所处状态。

PSYNC同步实现

       部分重同步功能由以下三部分构成：

• 主服务的复制偏移量(replication offset)和从服务器的复制偏移量
• 主服务器的复制积压缓冲区(replication backlog)
• 服务器的运行ID(run ID)

复制偏移量

      执行复制的双方--主从服务器会分别维护一个复制偏移量

• 主服务器每次向从服务器传播N个字节的数据时，就将自己的复制偏移量加上N
• 从服务器每次收到主服务器传播来的N个字节数据时，就将自己的复制偏移量的值加上N。

 

复制积压缓冲区

      复制积压缓冲区是由主服务器维护的一个固定长度(fixed-size)先进先出(FIFO)队列，默认大小为1MB。当主服务器进行命令传播是，它不仅会将写命令发送所有从服务器，还会将写命令入队列到复制积压缓冲区里面。

       因此，主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令，并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。

       当从服务器重新连上主服务器时，从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器，主服务器会根据这个复制偏移量来决定从服务器执行何种同步操作：

•  如果offset偏移量之后的数据（偏移量offset+1开始的数据）仍然在复制积压缓冲区里面，那么主服务器将对从服务器执行部分重同步操作。
• 如果offset偏移量之后的数据已经不存在与复制积压缓冲区，那么主服务器对从服务器执行完整从同步操作。

 

服务器运行ID

      除了复制偏移量和复制积压缓冲区之外，实现部分重同步还需要用到服务器运行ID（run ID）。每个redis服务器，不论是主服务器还是从服务器，都会有自己的运行ID，运行ID在服务器启动时自动生成，由40个随机的十六进制字符组成。

      当从服务器对主服务器进行初次复制时，主服务器会将自己运行ID发送给从服务器，从服务器会将这个ID保存起来。当从服务器断线并重新连上一个主服务器时，从服务器将向当前连接的主服务器发送之前保存的运行ID。

• 如果从服务器保存的运行ID和当前连接的主服务器运行ID相同，那么说明从服务器断线之前复制的就是当前连接的这个主服务器，主服务可以尝试执行部分重同步。
• 如果从服务器保存的运行ID和当前连接的主服务器运行ID不相同，那么说明从服务器断线之前复制的主服务器并不是当前连接的这个主服务器，主服务器将对从服务器执行完整的重同步操作。

     

 

 

 

https://redis.io/topics/replication