基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

warm_breeze

浏览: 62542 次
性别:
来自: 北京

最近访客更多访客>>

t15137830

yj129

lee8519

Bll

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

NoSQL

Redis Sentinel Jedis HA Sharding

本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案，该方案需要使用Jedis2.2.2及以上版本（强制），Redis2.8及以上版本(可选，Sentinel最早出现在Redis2.4中，Redis2.8中Sentinel更加稳定)，Redis集群是以分片(Sharding)加主从的方式搭建，满足可扩展性的要求；

Redis Sentinel介绍

Redis Sentinel是Redis官方提供的集群管理工具，主要有三大功能：
监控，能持续监控Redis的主从实例是否正常工作；
通知，当被监控的Redis实例出问题时，能通过API通知系统管理员或其他程序；
自动故障恢复，如果主实例无法正常工作，Sentinel将启动故障恢复机制把一个从实例提升为主实例，其他的从实例将会被重新配置到新的主实例，且应用程序会得到一个更换新地址的通知。
Redis Sentinel是一个分布式系统，可以部署多个Sentinel实例来监控同一组Redis实例，它们通过Gossip协议来确定一个主实例宕机，通过Agreement协议来执行故障恢复和配置变更，一般在生产环境中部署多个实例来提高系统可用性，只要有一个Sentinel实例运行正常，就能保证被监控的Redis实例运行正常（类似Zookeeper，通过多个Zookeeper来提高系统可用性）；
本文不涉及Sentinel的实现细节和工作原理，读者可以阅读其他文章了解；

Redis HA方案

HA的关键在于避免单点故障及故障恢复，在Redis Cluster未发布之前，Redis一般以主/从方式部署（这里讨论的应用从实例主要用于备份，主实例提供读写，有不少应用是读写分离的，读写操作需要取不同的Redis实例，该方案也可用于此种应用，原理都是相通的，区别在于数据操作层如何封装），该方式要实现HA主要有如下几种方案：
1，keepalived：通过keepalived的虚拟IP，提供主从的统一访问，在主出现问题时，通过keepalived运行脚本将从提升为主，待主恢复后先同步后自动变为主，该方案的好处是主从切换后，应用程序不需要知道(因为访问的虚拟IP不变)，坏处是引入keepalived增加部署复杂性；
2，zookeeper：通过zookeeper来监控主从实例，维护最新有效的IP，应用通过zookeeper取得IP，对Redis进行访问；
3，sentinel：通过Sentinel监控主从实例，自动进行故障恢复，该方案有个缺陷：因为主从实例地址(IP&PORT)是不同的，当故障发生进行主从切换后，应用程序无法知道新地址，故在Jedis2.2.2中新增了对Sentinel的支持，应用通过redis.clients.jedis.JedisSentinelPool.getResource()取得的Jedis实例会及时更新到新的主实例地址。
笔者所在的公司先使用了方案1一段时间后，发现keepalived在有些情况下会导致数据丢失，keepalived通过shell脚本进行主从切换，配置复杂，而且keepalived成为新的单点，后来选用了方案3，使用Redis官方解决方案；（方案2需要编写大量的监控代码，没有方案3简便，网上有人使用方案2读者可自行查看）

选用Sentinel出现的问题

Sentinel&Jedis看上去是个完美的解决方案，这句话只说对了一半，在无分片的情况是这样，但我们的应用使用了数据分片-sharing，数据被平均分布到4个不同的实例上，每个实例以主从结构部署，Jedis没有提供基于Sentinel的ShardedJedisPool，也就是说在4个分片中，如果其中一个分片发生主从切换，应用所使用的ShardedJedisPool无法获得通知，所有对那个分片的操作将会失败。
本文提供一个基于Sentinel的ShardedJedisPool，能及时感知所有分片主从切换行为，进行连接池重建，源码见ShardedJedisSentinelPool.java

ShardedJedisSentinelPool实现分析

构造函数

类似之前的Jedis Pool的构造方法，需要参数poolConfig提供诸如maxIdle，maxTotal之类的配置，masters是一个List，用来保存所有分片Master在Sentinel中配置的名字（注意master的顺序不能改变，因为Shard算法是依据分片位置进行计算，如果顺序错误将导致数据存储混乱），sentinels是一个Set，其中存放所有Sentinel的地址(格式：IP:PORT，如127.0.0.1:26379)，顺序无关；

初始化连接池

在构造函数中，通过方法

取得当前所有分片的master地址(IP&PORT)，对每个分片，通过顺次连接Sentinel实例，获取该分片的master地址，如果无法获得，即所有Sentinel都无法连接，将休眠1秒后继续重试，直到取得所有分片的master地址，代码块如下：

通过

初始化连接池，到此连接池中的所有连接都指向分片的master；

监控每个Sentinel

在方法

最后，会为每个Sentinel启动一个Thread来监控Sentinel做出的更改：

该线程的run方法通过Jedis Pub/Sub API（实现JedisPubSub接口，并通过jedis.subscribe进行订阅）向Sentinel实例订阅“+switch-master”频道，当Sentinel进行主从切换时，该线程会得到新Master地址的通知，通过master name判断哪个分片进行了切换，将新master地址替换原来位置的地址，并调用initPool(List masters)进行Jedis连接池重建；后续所有通过该连接池取得的连接都指向新Master地址，对应用程序透明；

应用示例

总结

本文通过现实中遇到的问题，即在Redis数据分片的情况下，在使用Sentinel做HA时，如何做到主从的切换对应用程序透明，通过Jedis的Pub/Sub功能，能同时监控多个分片的主从切换情况，并通过监听到的新地址重新构造连接池，后续从连接池中取得的所有连接都指向新地址。该方案的关键是：使用sentinel做HA，Jedis版本必须2.2.2及以上，所有访问Redis实例的连接都必须从连接池中获取；

该项目的GitHub主页: https://github.com/warmbreeze/sharded-jedis-sentinel-pool

jedis_sentinel_patch-1.0.jar (15 KB)
下载次数: 357

查看图片附件

分享到：

MongoDB介绍及安装

2014-02-21 23:46
浏览 29504
评论(18)
分类:开源软件
查看更多

18 楼 flyfeifei66 2018-07-03

建议重写getResource()方法(参考ShardedJedis)

    public ShardedJedis getResource()
    {
        ShardedJedis jedis = (ShardedJedis)super.getResource();
        jedis.setDataSource(this);
        return jedis;
    }

这样释放链接时就不用调用pool.returnResource();而是可以直接jedis.close();
close的源码已经做了非常好的规划，如果是连接池中的链接则归还，否则断开链接，判断是否是链接池中的链接则看 jedis的DataSource属性。

17 楼北极心1991 2016-10-21

Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: ERR unknown command 'SENTINEL'

16 楼北极心1991 2016-10-21

兄弟，你这代码你测试过么，各种问题啊

15 楼 gggyyy1 2016-03-24

新添加分片后，原来的数据怎么迁移

14 楼 wufeng5202972 2015-08-22

crazy_stone 写道

redis cluster 配置：使用redis-trib.rb配置了三主三从，
redis sentinel配置：三个。

用你的ShardedJedisSentinelPoolTest测试报 redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 9189 192.168.1.13:6382
at redis.clients.jedis.Protocol.processError(Protocol.java:108)
at redis.clients.jedis.Protocol.process(Protocol.java:142)
at redis.clients.jedis.Protocol.read(Protocol.java:196)
at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:288)
at redis.clients.jedis.Connection.getIntegerReply(Connection.java:213)
at redis.clients.jedis.Jedis.lpush(Jedis.java:814)
at redis.clients.jedis.ShardedJedis.lpush(ShardedJedis.java:264)
at redis.clients.jedis.ShardedJedisSentinelPoolTest.testX(ShardedJedisSentinelPoolTest.java:60)

如何解决？

你的redis cluster 怎么获取节点列表数据的？

13 楼 crazy_stone 2015-08-19

12 楼 Nonnetta 2015-08-05

Sentinel支持动态加节点么？

11 楼 bo_hai 2015-06-07

还在更新吗？

10 楼 gu566320 2015-01-16

哥们，用ShardedJedisSentinelPool这个测试，正常配没问题，但我为什么服务器端redis主从切换的时候，再次运行java客户端就报连接错误啊（java.net.conectException），服务器端显示已经正常主从切换完成的

9 楼荷包蛋 2014-04-24

哥们，sentinel目前还没有合并进稳定分支中吧，所以稳定性这个还不能保证，不知道你现在用的怎么样呢！

8 楼 warm_breeze 2014-03-01

vwyuheng 写道

初始化连接池，到此连接池中的所有连接都指向分片的master；你示例中能否明确的点怎么用，比如我分片中一般是只有主是可读写的，从是只读的，因此我如何区分出我写的时候拿到的是主的那个连接呢，读写的时候是随机的或负载均衡机制保证的，？这个支持吗，若支持请给出示例，谢谢！

读写分离不支持，只支持slave作为备份，文章中已经说明过了

7 楼 vwyuheng 2014-02-28

vwyuheng 写道

初始化连接池，到此连接池中的所有连接都指向分片的master；你示例中能否明确的点怎么用，比如我分片中一般是只有主是可读写的，从是只读的，因此我如何区分出我写的时候拿到的是主的那个连接呢，读的时候是随机的或负载均衡机制保证的，？这个支持吗，若支持请给出示例，谢谢！

6 楼 vwyuheng 2014-02-28

5 楼 warm_breeze 2014-02-27

vwyuheng 写道

warm_breeze 写道

vwyuheng 写道

jedis.sentinelGetMasterAddrByName(masterName) 这里，

稍微调整了下，在为null时会出错，多谢提醒；

兄弟你这是生产已经用了，还是学些写的，你看你的那个 while那一部分那个定义的范围明显错了，应该在for循环外层才对，

不知道你说的是什么的定义范围有误？如果方便能说的详细些吗？或者把代码贴一下看看怎么改

4 楼 vwyuheng 2014-02-27

warm_breeze 写道

vwyuheng 写道

jedis.sentinelGetMasterAddrByName(masterName) 这里，

稍微调整了下，在为null时会出错，多谢提醒；

兄弟你这是生产已经用了，还是学些写的，你看你的那个 while那一部分那个定义的范围明显错了，应该在for循环外层才对，

3 楼 warm_breeze 2014-02-27

vwyuheng 写道

jedis.sentinelGetMasterAddrByName(masterName) 这里，

稍微调整了下，在为null时会出错，多谢提醒；

2 楼 vwyuheng 2014-02-26

jedis.sentinelGetMasterAddrByName(masterName) 这里，

1 楼 vwyuheng 2014-02-26

你这个代码有问题啊，哥们

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论