一、Redis主从复制
主从复制:主节点负责写数据,从节点负责读数据,主节点定期把数据同步到从节点保证数据的一致性
1. 主从复制的相关操作
a,配置主从复制方式一、新增redis6380.conf, 加入 slaveof 192.168.152.128 6379, 在6379启动完后再启6380,完成配置;
b,配置主从复制方式二、redis-server --slaveof 192.168.152.128 6379 临时生效
c,查看状态:info replication
d,断开主从复制:在slave节点,执行6380:>slaveof no one
e,断开后再变成主从复制:6380:> slaveof 192.168.152.128 6379
f,数据较重要的节点,主从复制时使用密码验证: requirepass
e,从节点建议用只读模式slave-read-only=yes, 若从节点修改数据,主从数据不一致
h,传输延迟:主从一般部署在不同机器上,复制时存在网络延时问题,redis提供repl-disable-tcp-nodelay参数决定是否关闭TCP_NODELAY,默认为关闭
参数关闭时:无论大小都会及时发布到从节点,占带宽,适用于主从网络好的场景,
参数启用时:主节点合并所有数据成TCP包节省带宽,默认为40毫秒发一次,取决于内核,主从的同步延迟40毫秒,适用于网络环境复杂或带宽紧张,如跨机房
2. Redis主从拓扑
a)一主一从:用于主节点故障转移从节点,当主节点的“写”命令并发高且需要持久化,可以只在从节点开启AOF(主节点不需要),这样即保证了数据的安全性,也避免持久化对主节点的影响
b)一主多从:针对“读”较多的场景,“读”由多个从节点来分担,但节点越多,主节点同步到多节点的次数也越多,影响带宽,也加重主节点的稳定
c)树状主从:一主多从的缺点(主节点推送次数多压力大)可用些方案解决,主节点只推送一次数据到从节点B,再由从节点B推送到C,减轻主节点推送的压力。
3. 主从复制原理
4. 数据同步
redis 2.8版本以上使用psync命令完成同步,过程分“全量”与“部分”复制
全量复制:一般用于初次复制场景(第一次建立SLAVE后全量)
部分复制:网络出现问题,从节点再次连接主节点时,主节点补发缺少的数据,每次数据增量同步
心跳:主从有长连接心跳,主节点默认每10S向从节点发ping命令,repl-ping-slave-period控制发送频率
5. 主从的缺点
a)主从复制,若主节点出现问题,则不能提供服务,需要人工修改配置将从变主
b)主从复制主节点的写能力单机,能力有限
c)单机节点的存储能力也有限
6.主从故障如何故障转移
a)主节点(master)故障,从节点slave-1端执行 slaveof no one后变成新主节点;
b)其它的节点成为新主节点的从节点,并从新节点复制数据;
c)需要人工干预,无法实现高可用。
二、Redis哨兵机制(Sentinel)
1. 为什么要有哨兵机制?
哨兵机制的出现是为了解决主从复制的缺点的
2. 哨兵机制(sentinel)的高可用
原理:当主节点出现故障时,由Redis Sentinel自动完成故障发现和转移,并通知应用方,实现高可用性。
其实整个过程只需要一个哨兵节点来完成,首先使用Raft算法(选举算法)实现选举机制,选出一个哨兵节点来完成转移和通知
3. 哨兵的定时监控任务
任务1:每个哨兵节点每10秒会向主节点和从节点发送info命令获取最拓扑结构图,哨兵配置时只要配置对主节点的监控即可,通过向主节点发送info,获取从节点的信息,并当有新的从节点加入时可以马上感知到
任务2:每个哨兵节点每隔2秒会向redis数据节点的指定频道上发送该哨兵节点对于主节点的判断以及当前哨兵节点的信息,同时每个哨兵节点也会订阅该频道,来了解其它哨兵节点的信息及对主节点的判断,其实就是通过消息publish和subscribe来完成的
任务3:每隔1秒每个哨兵会向主节点、从节点及其余哨兵节点发送一次ping命令做一次心跳检测,这个也是哨兵用来判断节点是否正常的重要依据
客观下线:当主观下线的节点是主节点时,此时该哨兵3节点会通过指令sentinel is-masterdown-by-addr寻求其它哨兵节点对主节点的判断,当超过quorum(选举)个数,此时哨兵节点则认为该主节点确实有问题,这样就客观下线了,大部分哨兵节点都同意下线操作,也就说是客观下线
4. 领导者哨兵选举流程
a)每个在线的哨兵节点都可以成为领导者,当它确认(比如哨兵3)主节点下线时,会向其它哨兵发is-master-down-by-addr命令,征求判断并要求将自己设置为领导者,由领导者处理故障转移;
b)当其它哨兵收到此命令时,可以同意或者拒绝它成为领导者;
c)如果哨兵3发现自己在选举的票数大于等于num(sentinels)/2+1时,将成为领导者,如果没有超过,继续选举…………
5. 故障转移机制
a)由Sentinel节点定期监控发现主节点是否出现了故障
sentinel会向master发送心跳PING来确认master是否存活,如果master在“一定时间范围”内不回应PONG 或者是回复了一个错误消息,那么这个sentinel会主观地(单方面地)认为这个master已经不可用了
b) 当主节点出现故障,此时3个Sentinel节点共同选举了Sentinel3节点为领导,负载处理主节点的故障转移
c) 由Sentinel3领导者节点执行故障转移,过程和主从复制一样,但是自动执行
流程:
1. 将slave-1脱离原从节点,升级主节点,
2. 将从节点slave-2指向新的主节点
3. 通知客户端主节点已更换
4. 将原主节点(oldMaster)变成从节点,指向新的主节点
d) 故障转移后的redis sentinel的拓扑结构图
6. 哨兵机制-故障转移详细流程-确认主节点
a) 过滤掉不健康的(下线或断线),没有回复过哨兵ping响应的从节点
b) 选择salve-priority从节点优先级最高(redis.conf)的
c) 选择复制偏移量最大,指复制最完整的从节点
7. 实战:如何安装和部署哨兵
以3个Sentinel节点、2个从节点、1个主节点为例进行安装部署
1. 前提:先搭好一主两从redis的主从复制,和之前的主从复制搭建一样,搭建方式如下:
A)主节点6379节点(/usr/local/bin/conf/redis6379.conf):
修改 requirepass 12345678,注释掉#bind 127.0.0.1
B) 从节点redis6380.conf和redis6381.conf: 配置都一样
修改 requirepass 12345678 ,注释掉#bind 127.0.0.1,
加上访问主节点的密码masterauth 12345678 ,加上slaveof 192.168.152.128 6379
注意:当主从起来后,主节点可读写,从节点只可读不可写
2. redis sentinel哨兵机制核心配置(也是3个节点):
/usr/local/bin/conf/sentinel_26379.conf
/usr/local/bin/conf/sentinel_26380.conf
/usr/local/bin/conf/sentinel_26381.conf
将三个文件的端口改成: 26379 26380 26381
然后:sentinel monitor mymaster 192.168.152.128 6379 2 //监听主节点6379
sentinel auth-pass mymaster 12345678 //连接主节点时的密码
三个配置除端口外,其它一样。
3. 哨兵其它的配置:只要修改每个sentinel.conf的这段配置即可:
sentinel monitor mymaster 192.168.152.128 6379 2
//监控主节点的IP地址端口,sentinel监控的master的名字叫做mymaster,2代表,当集群中有2个sentinel认为master死了时,才能真正认为该master已经不可用了
sentinel auth-pass mymaster 12345678 //sentinel连主节点的密码
sentinel config-epoch mymaster 2 //故障转移时最多可以有2从节点同时对新主节点进行数据同步
sentinel leader-epoch mymaster 2
sentinel failover-timeout mymasterA 180000 //故障转移超时时间180s,
a,如果转移超时失败,下次转移时时间为之前的2倍;
b,从节点变主节点时,从节点执行slaveof no one命令一直失败的话,当时间超过180S时,则故障转移失败
c,从节点复制新主节点时间超过180S转移失败
sentinel down-after-milliseconds mymasterA 300000//sentinel节点定期向主节点ping命令,当超过了300S时间后没有回复,可能就认定为此主节点出现故障了……
sentinel parallel-syncs mymasterA 1 //故障转移后,1代表每个从节点按顺序排队一个一个复制主节点数据,如果为3,指3个从节点同时并发复制主节点数据,不会影响阻塞,但存在网络和IO开销
4. 启动redis服务和sentinel服务:
a)先把之前安装的redis里面的标绿色的文件都拷贝到 usr/local/bin目录下,然后再再bin目录下新建一个conf文件夹存放配置好的redis主从配置文件和哨兵配置文件
b)启动主从复制服务,先启动主再启动从
主:./redis-server conf/redis6379.conf &
从:
./redis-server conf/redis6380.conf &
./redis-server conf/redis6381.conf &
c)启动sentinel服务:
./redis-sentinel conf/sentinel_26379.conf &
./redis-sentinel conf/sentinel_26380.conf &
./redis-sentinel conf/sentinel_26381.conf &
到此服务全部启动完毕
连接到6379的redis的服务,可看到6379就是主节点,他有6380和6381两个从节点
5. 测试:kill -9 6379 杀掉6379的redis服务
可以看到杀掉6379以后6380变为了主节点,6381变为了6380的从节点
重新启动6379以后变为6380的从节点
看日志是分配6380 是6381的主节点,当6379服务再启动时,已变成从节点
假设6380升级为主节点:进入6380>info replication 可以看到role:master
打开sentinel_26379.conf等三个配置,sentinel monitor mymaster 192.168.152.128 6380 2
打开redis6379.conf等三个配置, slaveof 192.168.152.128 6380,也变成了6380
注意:生产环境建议让redis Sentinel部署到不同的物理机上。
8.部署建议
a,sentinel节点应部署在多台物理机(线上环境)
b,至少三个且奇数个sentinel节点
c,通过以上我们知道,3个sentinel可同时监控一个主节点或多个主节点
监听N个主节点较多时,如果sentinel出现异常,会对多个主节点有影响,同时还会造成sentinel节点产生过多的网络连接,
一般线上建议还是, 3个sentinel监听一个主节点
相关推荐
Redis主从复制模式是一种数据冗余容灾机制,通过在多台服务器上部署Redis实例,实现数据的实时同步和备份。当主服务器宕机时,备服务器可以自动切换为主服务器,提供高可用性的Redis服务。 在Redis主从复制模式中,...
本资料包主要探讨Redis的三个核心概念:持久化、主从复制和哨兵架构,这些都是确保Redis高可用性和数据安全的重要机制。 首先,我们来详细了解一下Redis的持久化。Redis提供了两种主要的持久化方式:RDB(Redis ...
Redis集群是Redis的一种高可用性解决方案,通过主从复制、哨兵和集群三大技术模块来实现高可用性和可扩展性。本文将对Redis集群进行详细的介绍,包括Redis安装、主从复制、哨兵和集群的配置和实现。 一、Redis安装 ...
02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构...
这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先,Docker Compose是一个强大的工具,可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下,我们...
下面将详细讲解Redis 3.2.1集群中的主从复制和哨兵机制。 **一、主从复制** 在Redis中,主从复制是一种备份策略,它通过将主节点的数据流式传输到一个或多个从节点来创建数据副本。这样,如果主节点出现故障,可以...
一、Redis主从复制 1. **安装Redis**:首先,你需要在Linux服务器上安装Redis。可以通过包管理器如`apt-get`或`yum`进行安装,或者下载源码编译安装。 2. **启动Redis服务**:安装完成后,启动Redis服务,通常命令...
### Windows环境下Redis高可用之主从复制与哨兵监控 #### 一、概述 随着分布式系统和微服务架构的普及,高性能、高可用性的数据库成为众多应用的基础需求之一。Redis作为一款广泛使用的开源键值存储系统,凭借其...
基于Centos7系统,由浅入深讲解如何部署Redis的四种模式,分别是:单机模式、主从模式、哨兵模式、集群模式。 完整原文:http://exp-blog.com/2018/09/14/pid-2285/ 同时提供Jedis客户端封装源码: ● 屏蔽Jedis与...
通过以上介绍,我们可以看到 Redis 主从复制不仅能够提供高可用性和扩展性,还能有效地防止单点故障的发生。此外,通过使用哨兵机制,可以进一步增强集群的健壮性和自动化管理水平。对于大型应用来说,合理设计和...
Redis 主从复制和哨兵配置手册 Redis 主从复制是一种高可用性解决方案,可以确保数据的安全和可靠性。在这个手册中,我们将详细介绍 Redis 主从复制的配置和哨兵的配置。 环境准备 在开始配置 Redis 主从复制之前...
一、Redis主从复制 1. 主从复制的基本概念:主从复制是将一个Redis实例(主节点)的数据实时同步到其他实例(从节点)的过程。这样,即使主节点出现问题,从节点也能立即接管服务,保证系统的连续性。 2. 同步过程...
**一、Redis主从复制** 主从复制是Redis实现数据备份和高可用性的一种方式。在主从复制中,一个Redis实例作为主节点(Master),负责处理客户端的写请求并更新数据;多个从节点(Slave)则会实时同步主节点的数据,...
2. **数据一致性**:通过使用部分重同步和复制积压缓冲区来保证数据的一致性。如果主从节点在网络中断后重新连接,从节点可以通过积压缓冲区获取丢失的命令。 3. **读写分离**:读请求可以被分配到从节点处理,减轻...
Redis工作原理及单机主从集群版安装使用说明书 Redis是一个高性能的键值存储系统,由Salvatore Sanfilippo开发,使用ANSI C语言编写...正确设置和管理Redis的主从复制、哨兵和集群,可以显著提升系统的稳定性和性能。
redis服务配置,配置redis主从复制,多个哨兵监控redis主服务,自动切换服务
哨兵(sentinel)是Redis官方提供的一种高可用解决方案,其主要作用是对Redis主从架构进行监控、通知和自动故障转移。 **哨兵的主要功能**: 1. **监控**:哨兵会不断地检查你的Master和Slave是否运作正常。 2. **...
主从复制用于数据的热备份,而哨兵模式则可以监控Redis主从服务器的状态,并在主服务器出现故障时自动执行故障转移,将其中一个从服务器提升为主服务器,以保证服务的连续性。 在主从复制中,主服务器会将数据变动...
Redis持久化、主从与哨兵架构详解 Redis持久化是指将Redis中的数据保存到磁盘中,以便在Redis服务器重启或崩溃后可以恢复数据。Redis提供了两种持久化方式:RDB快照和AOFAppend-Only File。 RDB快照 RDB快照是...