`
warm_breeze
  • 浏览: 62423 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

阅读更多

本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求;

 

Redis Sentinel介绍

Redis Sentinel是Redis官方提供的集群管理工具,主要有三大功能:
监控,能持续监控Redis的主从实例是否正常工作;
通知,当被监控的Redis实例出问题时,能通过API通知系统管理员或其他程序;
自动故障恢复,如果主实例无法正常工作,Sentinel将启动故障恢复机制把一个从实例提升为主实例,其他的从实例将会被重新配置到新的主实例,且应用程序会得到一个更换新地址的通知。
Redis Sentinel是一个分布式系统,可以部署多个Sentinel实例来监控同一组Redis实例,它们通过Gossip协议来确定一个主实例宕机,通过Agreement协议来执行故障恢复和配置变更,一般在生产环境中部署多个实例来提高系统可用性,只要有一个Sentinel实例运行正常,就能保证被监控的Redis实例运行正常(类似Zookeeper,通过多个Zookeeper来提高系统可用性);
本文不涉及Sentinel的实现细节和工作原理,读者可以阅读其他文章了解;

 

Redis HA方案

HA的关键在于避免单点故障及故障恢复,在Redis Cluster未发布之前,Redis一般以主/从方式部署(这里讨论的应用从实例主要用于备份,主实例提供读写,有不少应用是读写分离的,读写操作需要取不同的Redis实例,该方案也可用于此种应用,原理都是相通的,区别在于数据操作层如何封装),该方式要实现HA主要有如下几种方案:
1,keepalived:通过keepalived的虚拟IP,提供主从的统一访问,在主出现问题时,通过keepalived运行脚本将从提升为主,待主恢复后先同步后自动变为主,该方案的好处是主从切换后,应用程序不需要知道(因为访问的虚拟IP不变),坏处是引入keepalived增加部署复杂性;
2,zookeeper:通过zookeeper来监控主从实例,维护最新有效的IP,应用通过zookeeper取得IP,对Redis进行访问;
3,sentinel:通过Sentinel监控主从实例,自动进行故障恢复,该方案有个缺陷:因为主从实例地址(IP&PORT)是不同的,当故障发生进行主从切换后,应用程序无法知道新地址,故在Jedis2.2.2中新增了对Sentinel的支持,应用通过redis.clients.jedis.JedisSentinelPool.getResource()取得的Jedis实例会及时更新到新的主实例地址。
笔者所在的公司先使用了方案1一段时间后,发现keepalived在有些情况下会导致数据丢失,keepalived通过shell脚本进行主从切换,配置复杂,而且keepalived成为新的单点,后来选用了方案3,使用Redis官方解决方案;(方案2需要编写大量的监控代码,没有方案3简便,网上有人使用方案2读者可自行查看)


选用Sentinel出现的问题

Sentinel&Jedis看上去是个完美的解决方案,这句话只说对了一半,在无分片的情况是这样,但我们的应用使用了数据分片-sharing,数据被平均分布到4个不同的实例上,每个实例以主从结构部署,Jedis没有提供基于Sentinel的ShardedJedisPool,也就是说在4个分片中,如果其中一个分片发生主从切换,应用所使用的ShardedJedisPool无法获得通知,所有对那个分片的操作将会失败。
本文提供一个基于Sentinel的ShardedJedisPool,能及时感知所有分片主从切换行为,进行连接池重建,源码见ShardedJedisSentinelPool.java

 

ShardedJedisSentinelPool实现分析

构造函数



 类似之前的Jedis Pool的构造方法,需要参数poolConfig提供诸如maxIdle,maxTotal之类的配置,masters是一个List,用来保存所有分片Master在Sentinel中配置的名字(注意master的顺序不能改变,因为Shard算法是依据分片位置进行计算,如果顺序错误将导致数据存储混乱),sentinels是一个Set,其中存放所有Sentinel的地址(格式:IP:PORT,如127.0.0.1:26379),顺序无关;


初始化连接池


在构造函数中,通过方法

 取得当前所有分片的master地址(IP&PORT),对每个分片,通过顺次连接Sentinel实例,获取该分片的master地址,如果无法获得,即所有Sentinel都无法连接,将休眠1秒后继续重试,直到取得所有分片的master地址,代码块如下:

通过

 初始化连接池,到此连接池中的所有连接都指向分片的master;


监控每个Sentinel


在方法

 最后,会为每个Sentinel启动一个Thread来监控Sentinel做出的更改:

该线程的run方法通过Jedis Pub/Sub API(实现JedisPubSub接口,并通过jedis.subscribe进行订阅)向Sentinel实例订阅“+switch-master”频道,当Sentinel进行主从切换时,该线程会得到新Master地址的通知,通过master name判断哪个分片进行了切换,将新master地址替换原来位置的地址,并调用initPool(List masters)进行Jedis连接池重建;后续所有通过该连接池取得的连接都指向新Master地址,对应用程序透明;


应用示例



 
总结


本文通过现实中遇到的问题,即在Redis数据分片的情况下,在使用Sentinel做HA时,如何做到主从的切换对应用程序透明,通过Jedis的Pub/Sub功能,能同时监控多个分片的主从切换情况,并通过监听到的新地址重新构造连接池,后续从连接池中取得的所有连接都指向新地址。该方案的关键是:使用sentinel做HA,Jedis版本必须2.2.2及以上,所有访问Redis实例的连接都必须从连接池中获取;


该项目的GitHub主页: https://github.com/warmbreeze/sharded-jedis-sentinel-pool

  • 大小: 4.1 KB
  • 大小: 3.4 KB
  • 大小: 44.2 KB
  • 大小: 2.3 KB
  • 大小: 1.9 KB
  • 大小: 23.2 KB
分享到:
评论
18 楼 flyfeifei66 2018-07-03  
建议重写getResource()方法(参考ShardedJedis)

    public ShardedJedis getResource()
    {
        ShardedJedis jedis = (ShardedJedis)super.getResource();
        jedis.setDataSource(this);
        return jedis;
    }

这样释放链接时就不用调用pool.returnResource();而是可以直接jedis.close();
close的源码已经做了非常好的规划,如果是连接池中的链接则归还,否则断开链接,判断是否是链接池中的链接则看 jedis的DataSource属性。


17 楼 北极心1991 2016-10-21  
Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: ERR unknown command 'SENTINEL'
16 楼 北极心1991 2016-10-21  
兄弟,你这代码你测试过么,各种问题啊
15 楼 gggyyy1 2016-03-24  
新添加分片后,原来的数据怎么迁移
14 楼 wufeng5202972 2015-08-22  
crazy_stone 写道
redis cluster 配置:使用redis-trib.rb配置了三主三从,
redis sentinel配置:三个。

用你的ShardedJedisSentinelPoolTest测试报 redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 9189 192.168.1.13:6382
at redis.clients.jedis.Protocol.processError(Protocol.java:108)
at redis.clients.jedis.Protocol.process(Protocol.java:142)
at redis.clients.jedis.Protocol.read(Protocol.java:196)
at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:288)
at redis.clients.jedis.Connection.getIntegerReply(Connection.java:213)
at redis.clients.jedis.Jedis.lpush(Jedis.java:814)
at redis.clients.jedis.ShardedJedis.lpush(ShardedJedis.java:264)
at redis.clients.jedis.ShardedJedisSentinelPoolTest.testX(ShardedJedisSentinelPoolTest.java:60)

如何解决?

你的redis cluster 怎么获取节点列表数据的?
13 楼 crazy_stone 2015-08-19  
redis cluster 配置:使用redis-trib.rb配置了三主三从,
redis sentinel配置:三个。

用你的ShardedJedisSentinelPoolTest测试报 redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 9189 192.168.1.13:6382
at redis.clients.jedis.Protocol.processError(Protocol.java:108)
at redis.clients.jedis.Protocol.process(Protocol.java:142)
at redis.clients.jedis.Protocol.read(Protocol.java:196)
at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:288)
at redis.clients.jedis.Connection.getIntegerReply(Connection.java:213)
at redis.clients.jedis.Jedis.lpush(Jedis.java:814)
at redis.clients.jedis.ShardedJedis.lpush(ShardedJedis.java:264)
at redis.clients.jedis.ShardedJedisSentinelPoolTest.testX(ShardedJedisSentinelPoolTest.java:60)

如何解决?
12 楼 Nonnetta 2015-08-05  
Sentinel支持动态加节点么?
11 楼 bo_hai 2015-06-07  
还在更新吗 ?
10 楼 gu566320 2015-01-16  
哥们,用ShardedJedisSentinelPool这个测试,正常配没问题,但我为什么服务器端redis主从切换的时候,再次运行java客户端就报连接错误啊(java.net.conectException),服务器端显示已经正常主从切换完成的
9 楼 荷包蛋 2014-04-24  
哥们,sentinel目前还没有合并进稳定分支中吧,所以稳定性这个还不能保证,不知道你现在用的怎么样呢!
8 楼 warm_breeze 2014-03-01  
vwyuheng 写道
初始化连接池,到此连接池中的所有连接都指向分片的master;你示例中能否明确的点怎么用,比如我分片中一般是 只有主是可读写的,从是只读的,因此我如何区分出我写的时候拿到的是主的那个连接呢,读写的时候是随机的或负载均衡机制保证的,?这个支持吗,若支持请给出示例,谢谢!

读写分离不支持,只支持slave作为备份,文章中已经说明过了
7 楼 vwyuheng 2014-02-28  
vwyuheng 写道
初始化连接池,到此连接池中的所有连接都指向分片的master;你示例中能否明确的点怎么用,比如我分片中一般是 只有主是可读写的,从是只读的,因此我如何区分出我写的时候拿到的是主的那个连接呢,读的时候是随机的或负载均衡机制保证的,?这个支持吗,若支持请给出示例,谢谢!

6 楼 vwyuheng 2014-02-28  
初始化连接池,到此连接池中的所有连接都指向分片的master;你示例中能否明确的点怎么用,比如我分片中一般是 只有主是可读写的,从是只读的,因此我如何区分出我写的时候拿到的是主的那个连接呢,读写的时候是随机的或负载均衡机制保证的,?这个支持吗,若支持请给出示例,谢谢!
5 楼 warm_breeze 2014-02-27  
vwyuheng 写道
warm_breeze 写道
vwyuheng 写道
jedis.sentinelGetMasterAddrByName(masterName) 这里,
稍微调整了下,在为null时会出错,多谢提醒;

兄弟你这是生产已经用了,还是学些写的,你看你的那个 while那一部分 那个定义的范围明显错了,应该在for循环外层才对,

不知道你说的是什么的定义范围有误?如果方便能说的详细些吗?或者把代码贴一下看看怎么改
4 楼 vwyuheng 2014-02-27  
warm_breeze 写道
vwyuheng 写道
jedis.sentinelGetMasterAddrByName(masterName) 这里,
稍微调整了下,在为null时会出错,多谢提醒;

兄弟你这是生产已经用了,还是学些写的,你看你的那个 while那一部分 那个定义的范围明显错了,应该在for循环外层才对,
3 楼 warm_breeze 2014-02-27  
vwyuheng 写道
jedis.sentinelGetMasterAddrByName(masterName) 这里,
稍微调整了下,在为null时会出错,多谢提醒;
2 楼 vwyuheng 2014-02-26  
jedis.sentinelGetMasterAddrByName(masterName) 这里,
1 楼 vwyuheng 2014-02-26  
你这个代码有问题啊,哥们

相关推荐

    docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用

    这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先,Docker Compose是一个强大的工具,可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下,我们...

    redis工作原理及单机主从集群版安装使用说明书

    Redis哨兵(Sentinel)模式是一种高可用性解决方案,它可以监控主从节点的状态,自动进行故障检测和故障转移。当检测到主节点失效时,Sentinel会根据预设规则选举新的主节点,并通知其他从节点改变角色,连接新的主...

    基于Redis6的Redis集群搭建方法

    Redis集群(Redis Cluster)是Redis官方提供的分布式解决方案,通过数据分片(Sharding)实现水平扩展,并支持主从复制和故障转移,以保证服务的高可用性。在Redis 6中,引入了更多改进,如客户端重定向、更好的错误...

    Redis高可用集群Redis Cluster搭建

    Redis高可用集群Redis Cluster搭建是 Redis 官方推荐的高可用性解决方案,于 3.0 版本推出。Redis Cluster 的主要用途是实现数据分片(Data Sharding),同时也可以实现高可用(HA)。与 Redis Sentinel 模式相比,...

    Redis集群演变过程&集群部署1

    其中,早期的Redis集群方案主要是基于Sentinel(哨兵)系统的。哨兵系统在Redis 3.0之前的版本中被广泛用于实现主从切换,以确保在主节点故障时能自动切换到备用节点,保证服务的连续性。然而,哨兵模式存在一些限制...

    redis集群搭建及各方案比较

    4. Redisa:基于 Redis Sentinel 的集群方案,侧重高可用性,但不支持数据分片。 选择哪种方案取决于具体业务需求,如数据一致性、高可用性、运维便捷性等因素。 总之,Redis 集群搭建是一个综合考虑数据分布、...

    Redis高可用性解决方案之哨兵与集群.docx

    Redis Sentinel 是 Redis 2.8 引入的高可用性解决方案,它是一个分布式监控系统,负责监测 Redis 主从节点的状态,自动执行故障转移操作。Sentinel 系统由一个或多个 Sentinel 实例组成,它们协同工作,监控主服务器...

    JAVA程序员培训(系列四)-REDIS集群、分片Sharding及使用场景介绍.pptx

    ### JAVA程序员培训(系列四)-REDIS集群、分片Sharding及使用场景介绍 #### REDIS集群方案介绍 ##### CODIS集群方案 - **特点**:CODIS是一种基于Redis的高性能分布式缓存系统,它利用代理层实现了Redis的水平...

    redis集群工具包和配置

    Redis Cluster是Redis官方提供的原生集群解决方案,它通过数据分片(Sharding)来实现数据的分布式存储,并且具备故障转移功能,确保服务的高可用性。 在Windows环境下配置Redis集群,首先需要安装以下几个关键组件...

    spring集成redis,集成redis集群

    标题中的“spring集成...Redis集群通过将数据分片(sharding)到多个节点来实现水平扩展。在Spring中配置Redis集群,我们需要使用Sentinel或Cluster API来发现和管理节点。 对于Redis Sentinel,配置如下: ```xml ...

    Redis集群搭建文档

    在本教程中,我们将详细探讨如何在CentOS7环境下搭建Redis集群,涵盖单机安装、主从复制、哨兵(Sentinel)集群以及分片(Sharding)集群。 一、单机安装Redis 首先,你需要在每台服务器上安装Redis。在CentOS7中,可以...

    redis集群槽点.zip

    哨兵(Sentinel)系统是Redis提供的高可用性解决方案,用于监控、故障检测和自动故障恢复。Sentinel会定期检查Redis主节点和从节点的状态,如果发现主节点故障,它会协调从节点进行故障切换,确保服务不间断。同时,...

    redis集群配置

    Redis 集群配置是将多个 Redis 实例组合在一起,以提供高可用性、扩展性和数据冗余。Redis 集群模式通过分片(sharding)技术将数据分散存储在多个节点上,每个节点负责一部分键空间。下面将详细介绍 Redis 集群的...

    redis集群版-windows

    1. 哨兵的作用:哨兵系统是Redis高可用性解决方案的一部分,它监控集群中的所有节点,当检测到主节点故障时,自动进行故障转移,将新的主节点选举出来,并通知客户端新的主节点地址。 2. 哨兵配置:配置哨兵系统需要...

    Redis高级技术讲解

    哨兵(Sentinel)系统是另一种高可用性解决方案,它监控Redis主从集群,检测并处理主服务器故障,同时提供了一套API供客户端查询集群状态。哨兵系统可以管理多个Redis实例,确保集群的稳定运行。 最后,了解Redis的...

    阿云里redis集群安装远程访问

    Redis集群是一种分布式解决方案,通过将数据分片(sharding)到多个节点来提高可扩展性和容错性。每个节点负责一部分键的空间,当客户端请求某个键时,集群会自动将请求路由到正确的节点。 接下来,我们将按照以下...

    redis分公司的风格的双方各得分手

    在大型分布式系统中,为了保证服务的高可用性和数据的一致性,Redis 提供了多种解决方案,其中"Redis 分公司的风格的双方各得分手"可能指的是Redis Sentinel和Redis Cluster两种高可用架构。 1. **Redis Sentinel**...

    Redis 高可用架构最佳实践.zip

    总结来说,构建Redis的高可用架构需要综合运用主从复制、哨兵系统、Cluster集群、数据持久化、资源隔离和限流、监控与调优等手段,确保系统在各种情况下都能稳定运行,为业务提供可靠的支撑。不断学习和实践这些最佳...

    Redis 部署安装 常见redis 4中部署详解

    Redis 集群模式是为了解决单节点或主从复制模式下的数据扩展和高可用性问题。在集群模式下,数据被分片(sharding)到多个节点,每个节点只负责一部分数据,这样可以提高数据处理能力和系统的扩展性。同时,集群也...

Global site tag (gtag.js) - Google Analytics