Jedis 与 ShardedJedis 设计

Jedis设计

Jedis作为推荐的java语言redis客户端，其抽象封装为三部分：

 

1. 对象池设计：Pool，JedisPool，GenericObjectPool，BasePoolableObjectFactory，JedisFactory
2. 面向用户的redis操作封装：BinaryJedisCommands，JedisCommands，BinaryJedis，Jedis
3. 面向redis服务器的操作封装：Commands，Client，BinaryClient，Connection，Protocol

 

其类设计图如下：

 

 

关于common-pool的相关内容，可以参见：http://macrochen.iteye.com/blog/320077

 

其他类的设计作用如下：

 

 

类名	职责
Pool	抽象Jedis对象池操作；并委托给操作给GenericObjectPool
JedisPool	实现Pool并提供JedisFactory工厂
JedisFactory	实现BasePoolableObjectFactory，提供创建，销毁Jedis方法
BinaryJedisCommands	抽象面向客户端操作的Redis命令；key，value都为序列化后的byte数组
JedisCommands	抽象面向客户端操作的Redis命令；提供String类型的key，value
BinaryJedis	实现BinaryJedisCommands接口，并将实际操作委托给Client
Jedis	实现JedisCommands接口，并将操作委托给Client
Commands	抽象Redis操作接口，提供String类型的key，value操作；被Jedis调用
Connection	抽象了Redis连接；包括host，port，pass，socket，inputstream,outputstream,protocol 完成与Redis服务器的通信
Protocol	抽象了Redis协议处理
BinaryClient	继承Connection类，封装了基于Byte[]的key，value操作
Client	继承BinaryClient同时实现了Commands，对上层提供基于String类型的操作

 

 

ShardedJedis实现分析

ShardedJedis是基于一致性哈希算法实现的分布式Redis集群客户端；ShardedJedis的设计分为以下几块：

 

1. 对象池设计：Pool，ShardedJedisPool，ShardedJedisFactory
2. 面向用户的操作封装：BinaryShardedJedis，BinaryShardedJedis
3. 一致性哈希实现：Sharded

关于ShardedJedis设计，忽略了Jedis的设计细节，设计类图如下：

 

关于ShardedJedis类图设计，省略了对象池，以及Jedis设计的以下细节介绍： 

类名 职责 Sharded

抽象了基于一致性哈希算法的划分设计，设计思路

 

1. 基于hash算法划分redis服务器
2. 保持每台Redis服务器的Jedis客户端
3. 提供基于Key的划分方法；提供了ShardKeyTag实现

BinaryShardedJedis 同BinaryJedis类似，实现BinaryJedisCommands对外提供基于Byte[]的key，value操作 ShardedJedis 同Jedis类似，实现JedisCommands对外提供基于String的key，value操作

 

 

Sharded一致性哈希实现

shared一致性哈希采用以下方案：

 

 

1. Redis服务器节点划分：将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)
2. 将划分虚拟节点采用TreeMap存储
3. 对每个Redis服务器的物理连接采用LinkedHashMap存储
4. 对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点

sharded采用的hash算法：MD5 和 MurmurHash两种；默认采用64位的MurmurHash算法；有兴趣的可以研究下，MurmurHash是一种高效，低碰撞的hash算法；参考地址：

http://blog.csdn.net/yfkiss/article/details/7337382

https://sites.google.com/site/murmurhash/  

 

评论

5 楼 LUCKYZHOUSTAR 2015-12-10  

牛逼，楼主怎么学习的呢

4 楼 bluky999 2014-11-07  

bluky999 写道

opentan 写道

zhangfeikr 写道

使用ShardedJedis，一台挂掉后，还可以正常运行吗？数据怎么自动都缓存到另一到？

用sentinel做ha，当master当掉后sentinel自动选举新的slave，并publish一条切换master消息，jedis监听消息并完成连接池的重连

如果是连接master,jedis可以监听到变化后,自动切换到新的master么??? 貌似没看到类似的API 哦

貌似是 JedisSentinelPool 有这个功能？ 

3 楼 bluky999 2014-11-07  

opentan 写道

zhangfeikr 写道

使用ShardedJedis，一台挂掉后，还可以正常运行吗？数据怎么自动都缓存到另一到？

用sentinel做ha，当master当掉后sentinel自动选举新的slave，并publish一条切换master消息，jedis监听消息并完成连接池的重连

如果是连接master,jedis可以监听到变化后,自动切换到新的master么??? 貌似没看到类似的API 哦

2 楼 opentan 2014-10-22  

zhangfeikr 写道

使用ShardedJedis，一台挂掉后，还可以正常运行吗？数据怎么自动都缓存到另一到？

用sentinel做ha，当master当掉后sentinel自动选举新的slave，并publish一条切换master消息，jedis监听消息并完成连接池的重连

1 楼 zhangfeikr 2014-06-22  

使用ShardedJedis，一台挂掉后，还可以正常运行吗？数据怎么自动都缓存到另一到？