一致性哈希算法的Java实现
关于一致性哈希算法的原理,网上有很多介绍,在此只是简单介绍一下,不做详细说明。
一致性哈希算法是分布式系统中常用的算法,比如有N台缓存服务器,你需要将数据缓存到这N台服务器上。一致性哈希算法可以将数据尽可能平均的存储到N台缓存服务器上,提高系统的负载均衡,并且当有缓存服务器加入或退出集群时,尽可能少的影响现有缓存服务器的命中率,减少数据对后台服务的大量冲击。
一致性哈希算法的基本原理,把数据通过hash函数映射到一个很大的环形空间里,如下图所示:
A、B、C、D 4台缓存服务器通过hash函数映射环形空间上,数据的存储时,先得到一个hash值,对应到这个环中的每个位置,如缓存数据:K1对应到了图中所示的位置,然后沿顺时针找到一个机器节点A,将K1存储到A节点上,K2存储到A节点上,K3、K4存储到B节点上。
如果B节点宕机了,则B上的数据就会落到C节点上,如下图所示:
这样,只会影响C节点,对其他的节点A,D的数据不会造成影响。然而,这又会造成一个“雪崩”的情况,即C节点由于承担了B节点的数据,所以C节点的负载会变高,C节点很容易也宕机,这样依次下去,这样造成整个集群都挂了。
为此,引入了“虚拟节点”的概念:即把想象在这个环上有很多“虚拟节点”,数据的存储是沿着环的顺时针方向找一个虚拟节点,每个虚拟节点都会关联到一个真实节点,如下图所使用:
引入“虚拟节点”后,映射关系就从 {对象 ->节点 }转换到了 {对象 ->虚拟节点 }。图中的A1、A2、B1、B2、C1、C2、D1、D2都是虚拟节点,机器A负载存储A1、A2的数据,机器B负载存储B1、B2的数据,机器C负载存储C1、C2的数据。由于这些虚拟节点数量很多,均匀分布,提高了平衡性,因此不会造成“雪崩”现象。
说完了一致性哈希算法的基本原理,下面说一下一致性哈希算法的JAVA实现。
首先定义一个hash函数接口:HashFunction
/** * hash 函数接口 * * @author sundoctor * */ public interface HashFunction { /** * hash函数 * * @param key * @return */ Long hash(String key); }
HashFunction一个实现,定义HashFunction接口,为了方便大家根据业务需要实现自己的hash函数。
import java.nio.ByteBuffer; import java.nio.ByteOrder; public class HashFunctionImpl implements HashFunction { /** * MurMurHash算法,是非加密HASH算法,性能很高,碰撞率低 */ @Override public Long hash(String key) { ByteBuffer buf = ByteBuffer.wrap(key.getBytes()); int seed = 0x1234ABCD; ByteOrder byteOrder = buf.order(); buf.order(ByteOrder.LITTLE_ENDIAN); long m = 0xc6a4a7935bd1e995L; int r = 47; long h = seed ^ (buf.remaining() * m); long k; while (buf.remaining() >= 8) { k = buf.getLong(); k *= m; k ^= k >>> r; k *= m; h ^= k; h *= m; } if (buf.remaining() > 0) { ByteBuffer finish = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN); finish.put(buf).rewind(); h ^= finish.getLong(); h *= m; } h ^= h >>> r; h *= m; h ^= h >>> r; buf.order(byteOrder); return h; } }
一致性哈希算法的JAVA简单实现:
import java.util.Collection; import java.util.SortedMap; import java.util.TreeMap; public class ConsistentHash<T> { private final HashFunction hashFunction;// hash 函数接口 private final int numberOfReplicas;// 每个机器节点关联的虚拟节点个数 private final SortedMap<Long, T> circle = new TreeMap<Long, T>();// 环形虚拟节点 /** * * @param hashFunction * hash 函数接口 * @param numberOfReplicas * 每个机器节点关联的虚拟节点个数 * @param nodes * 真实机器节点 */ public ConsistentHash(HashFunction hashFunction, int numberOfReplicas, Collection<T> nodes) { this.hashFunction = hashFunction; this.numberOfReplicas = numberOfReplicas; for (T node : nodes) { add(node); } } /** * 增加真实机器节点 * * @param node */ public void add(T node) { for (int i = 0; i < this.numberOfReplicas; i++) { circle.put(this.hashFunction.hash(node.toString() + i), node); } } /** * 删除真实机器节点 * * @param node */ public void remove(T node) { for (int i = 0; i < this.numberOfReplicas; i++) { circle.remove(this.hashFunction.hash(node.toString() + i)); } } /** * 取得真实机器节点 * * @param key * @return */ public T get(String key) { if (circle.isEmpty()) { return null; } long hash = hashFunction.hash(key); if (!circle.containsKey(hash)) { SortedMap<Long, T> tailMap = circle.tailMap(hash);// 沿环的顺时针找到一个虚拟节点 hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey(); } return circle.get(hash); // 返回该虚拟节点对应的真实机器节点的信息 } }
测试:
Node类模拟真实机器节点,保存节点的IP、名称、端口等
/** * 物理机节点模拟类,保存节点的IP、名称、端口等信息 * * @author sundoctor * * @param <T> */ public class Node<T> { private String ip;// IP private String name;// 名称 public Node(String ip, String name) { this.ip = ip; this.name = name; } public String getIp() { return ip; } public void setIp(String ip) { this.ip = ip; } public String getName() { return name; } public void setName(String name) { this.name = name; } /** * 复写toString方法,使用节点IP当做hash的KEY */ @Override public String toString() { return ip; } }
测试类:
import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.UUID; public class Test { private static final String IP_PREFIX = "192.168.1.";// 机器节点IP前缀 /** * @param args */ public static void main(String[] args) { Map<String, Integer> map = new HashMap<String, Integer>();// 每台真实机器节点上保存的记录条数 List<Node<String>> nodes = new ArrayList<Node<String>>();// 真实机器节点 // 10台真实机器节点集群 for (int i = 1; i <= 10; i++) { map.put(IP_PREFIX + i, 0);// 每台真实机器节点上保存的记录条数初始为0 Node<String> node = new Node<String>(IP_PREFIX + i, "node" + i); nodes.add(node); } HashFunction hashFunction = new HashFunctionImpl(); // hash函数实例 ConsistentHash<Node<String>> consistentHash = new ConsistentHash<Node<String>>(hashFunction, 100, nodes);// 每台真实机器引入100个虚拟节点 // 将5000条记录尽可能均匀的存储到10台机器节点 for (int i = 0; i < 5000; i++) { // 产生随机一个字符串当做一条记录,可以是其它更复杂的业务对象,比如随机字符串相当于对象的业务唯一标识 String data = UUID.randomUUID().toString() + i; // 通过记录找到真实机器节点 Node<String> node = consistentHash.get(data); // 再这里可以能过其它工具将记录存储真实机器节点上,比如MemoryCache等 // ... // 每台真实机器节点上保存的记录条数加1 map.put(node.getIp(), map.get(node.getIp()) + 1); } // 打印每台真实机器节点保存的记录条数 for (int i = 1; i <= 10; i++) { System.out.println(IP_PREFIX + i + "节点记录条数:" + map.get("192.168.1." + i)); } } }
运行测试类Test,输出:
192.168.1.1节点记录条数:474 192.168.1.2节点记录条数:489 192.168.1.3节点记录条数:468 192.168.1.4节点记录条数:501 192.168.1.5节点记录条数:412 192.168.1.6节点记录条数:473 192.168.1.7节点记录条数:598 192.168.1.8节点记录条数:521 192.168.1.9节点记录条数:493 192.168.1.10节点记录条数:571 |
从以上输出可以看到,记录很均匀的分布在10机器节点。
相关推荐
运行平台:VS 2019 一致性哈希算法演示项目,演示新增节点key分布情况;移除节点key分布情况! C#,C#,C#.......
Ketama一致性哈希算法是基于一致性哈希的一种优化实现,主要解决了传统一致性哈希中节点分布不均匀的问题。在Ketama中,每个实际的物理服务器会被映射到多个虚拟节点,通常是100到200个,这些虚拟节点均匀分布在环上...
2. **一致性哈希算法**: - 一致性哈希解决了普通哈希扩容时大量元素移动的问题,特别适用于分布式系统中节点的动态增减。 - 哈希空间被组织成一个固定大小的环,每个节点分配到环上的一个或多个位置,负责其...
ufire-springcloud-platform 学习微服-基于一致性哈希算法实现websocket分布式扩展的尝试。
一致性哈希(Consistent Hashing)是一种分布式哈希表(DHT)的算法,它主要应用于分布式缓存、负载均衡等场景,旨在解决在动态扩展或收缩系统规模时,尽量减少数据迁移的问题。在这个简单的实现中,我们将探讨如何...
在压缩包中的"MD5算法的Java实现类"可能包含了上述的代码实现,你可以通过查看源码进一步理解MD5的Java实现细节。同时,也可以扩展这个实现,比如增加对大文件的分块处理,或者与其他哈希算法(如SHA-1、SHA-256)...
总的来说,MD5、SHA和CRC哈希算法都是用来验证数据完整性和防止篡改的重要工具。虽然MD5的安全性已不再被信任,但在某些场景下仍然有用,而SHA和CRC则提供了更高的安全性和可靠性。通过`hasher.exe`这样的工具,用户...
随着虚拟节点的增加,数据量分配就比较平均了,但是并不是虚拟节点数量越多就越好,因为要考虑这些虚拟节点带来的性能开销以及算法的复杂性;
一致性哈希算法(Consistent Hashing)是一种分布式存储系统中广泛使用的哈希算法,它的设计目标是为了在动态增减缓存服务器时,尽可能减少数据重新分布的影响。在基本的哈希算法中,如果服务器数量发生变化,大部分...
比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢,你很可能会采用类似下面的通用方法计算 object 的 hash 值,然后均匀的映射到到 N 个 cache ;...
1、解决案:排序+List 2、解决案:遍历+List 1、最好情况是只有个服务器节点的Hash值于带路由结点的Hash值,其 2、最坏情况是所有服务器节点的H
SHA-256是一种广泛使用的密码散列函数,属于SHA-2家族的一部分,设计目的是为了提供数字签名和数据完整性验证。...在实际应用中,可以对文本、文件等内容进行SHA-256哈希,确保数据的完整性和一致性。
一致性哈希算法是分布式系统中常用的算法,为什么要用这个算法? 比如:一个分布式存储系统,要将数据存储到具体的节点(服务器)上, 在服务器数量不发生改变的情况下,如果采用普通的hash再对服务器总数量取模的...
下面我们将深入探讨一致性哈希算法的原理、特点以及Java实现。 一致性哈希算法的核心思想是将数据和服务器都映射到一个固定大小的哈希环上,数据根据其哈希值被分配到最近的服务器节点。当新增或移除服务器时,只有...
描述提到"我已经和C++的运算结果对比过了的",这暗示作者已经实现了RC4算法,并将其与C++版本的实现进行了对比,确保了两种语言下的结果一致性。这通常是为了验证代码的正确性和跨平台兼容性。 **标签解析:** ...
一致性Hash算法,易于扩容;添加了 单元测试,使用Spring提供的RestTemplate调用RestFul风格的API接口;整合了 quartz 定时任务框架 ,并进行了封装,只需在构建完定时任务Job类后,在 application-quartz....
在实际应用中,Java 开发者还可以采用其他负载均衡算法,如随机算法、最少连接数算法、IP 哈希算法等。随机算法是根据一定概率随机选择服务器;最少连接数算法是将请求分配给当前连接数最少的服务器,以优化资源利用...
- **一致性哈希算法**:解决数据分布的平衡性和单调性问题,通过引入虚拟节点来平衡负载,确保在节点增减时尽量减少数据迁移。 - **Paxos算法**:一种经典的分布式一致性算法,由Leslie Lamport提出,为了解决...
本项目汇总主要讨论了单例模式、一致性哈希算法以及页面静态化等关键知识点。 1. **单例模式**: 单例模式是一种常用的软件设计模式,确保一个类只有一个实例,并提供全局访问点。通常用于管理共享资源或昂贵的...
另外,需要注意哈希表和双向链表的一致性维护。在put方法中,当新建节点或者更新节点时,都需要更新哈希表中的键值对,并将节点添加到链表头部;同样,在删除节点时,也需要从哈希表中删除对应的键值对。