`
blackbeans
  • 浏览: 141622 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

带虚拟节点的一致性哈希

 
阅读更多

 

将物理节点hash和虚拟节点形成映射
    private void hash() {
        /**
        *  将物理节点散列成虚拟节点
        * */
        for (INode node : this.physicalNodes) {

            for (int i = 0; i < virtualCount / 4; i++) {

                byte[] hashCodeBytes = (node.getKey().toString() + i).getBytes();

                hashCodeBytes = Utils.md5Encode(hashCodeBytes);


                for (int j = 0; j < 4; j++) {

                    int virtualKey = (hashCodeBytes[3 + 4 * j] & 0xFF) << 24 | (hashCodeBytes[2 + 4 * j] & 0xFF) << 16 | (hashCodeBytes[1 + 4 * j] & 0xFF) << 8 |
                            (hashCodeBytes[4 * j] & 0xFF);

                    this.sortedHashNode.put(virtualKey, node);

                }

            }
        }

    }

给定Key查找数据的物理节点逻辑
   /**
     * 这里是用来给定一个key来通过虚拟节点定位到于物理节点的逻辑
     *
     * @param key
     * @return
     */
    public INode locate(Key key) {

        int virtualKey = key.key2VirtualKey();

        if (!this.sortedHashNode.containsKey(virtualKey)) {

            SortedMap<Integer, INode> sortedNodes = this.sortedHashNode.tailMap(virtualKey);


            if (sortedNodes.isEmpty()) {

                virtualKey = this.sortedHashNode.firstKey();
            } else {

                virtualKey = sortedNodes.firstKey();
            }

        }


        return this.sortedHashNode.get(virtualKey);
    }
 
 

 

分享到:
评论

相关推荐

    基于C# 实现的一致性哈希算法

    一致性哈希算法是一种分布式哈希(Distributed Hash Table, DHT)技术,它解决了在分布式环境中数据分片和负载均衡的问题。在传统的哈希算法中,如果增加或减少服务器节点,会导致大量数据重新分配,而一致性哈希...

    一致性哈希算法C版实现

    - `ConHash`结构体:用于存储一致性哈希的内部信息,包括节点列表、虚拟节点映射等。 - `Node`结构体:表示一个服务器节点,包含哈希值、服务器IP和端口等信息。 - `add_node`和`del_node`函数:分别用于添加和...

    一致性哈希与Chord1

    【一致性哈希与Chord1】是一篇关于分布式哈希算法的文章,主要讨论了一致性哈希和普通哈希的区别,以及如何通过引入虚拟节点来优化一致性哈希的分布问题。 1. **普通哈希算法**: - Java中的`HashMap`类是一个典型...

    分布式存储系统中改进的一致性哈希算法.pdf

    一致性哈希算法通过将哈希值空间组织成一个虚拟的环状结构,使得每个存储节点仅负责环上的一段区域,从而有效减少了节点变化时的数据迁移量。然而,一致性哈希算法也存在一些问题,比如在节点数量较少时,节点间的...

    Mycat一致性哈希分片算法.zip

    传统的哈希算法可能会导致大量数据在节点变化时发生重新映射,而一致性哈希通过虚拟节点和哈希环的概念,使得每次节点变动只需少量的数据迁移。 二、Mycat与一致性哈希 Mycat在处理大规模数据时,通过一致性哈希...

    一致性哈希算法演示.rar

    一致性哈希算法是一种分布式哈希表(DHT)中用于解决数据分片和负载均衡问题的算法。在大型分布式系统中,例如缓存系统、分布式数据库等,一致性哈希能够确保当节点加入或离开时,尽可能少的数据需要迁移,从而保持...

    一致性哈希算法源码 Ketama一致性hash算法源码

    一致性哈希算法是一种分布式哈希(Distributed Hash Table, DHT)技术,旨在解决在分布式环境中数据分布不均匀的问题。Ketama算法是基于一致性哈希的一种优化实现,由Last.fm公司的Simon Willison提出,其目标是在...

    一致性Hash简单实现

    一致性哈希(Consistent Hashing)是一种分布式哈希表(DHT)的算法,它主要应用于分布式缓存、负载均衡等场景,旨在解决在动态扩展或收缩系统规模时,尽量减少数据迁移的问题。在这个简单的实现中,我们将探讨如何...

    一致性哈希算法(ketama hashing)

    一致性哈希算法则通过引入虚拟节点(Virtual Nodes)的概念,使得数据分布更加均匀,且在节点变化时只影响少数键的映射关系。 虚拟节点是实际物理节点的复制品,在哈希空间中表现为多个不同的哈希值。每个物理节点...

    解决分布式数据插入数据库~一致性hash算法

    一致性哈希算法(Consistent Hashing)是一种常用于分布式系统中的数据分片策略,它有效地解决了数据在多台服务器间均匀分布的问题,同时减少了因节点加入或离开时的数据迁移成本。 首先,一致性哈希的基本原理是将...

    24一致性哈希:如何高效地均衡负载?1

    一致性哈希算法还引入了虚拟节点的概念,以提高数据分布的均衡性。虚拟节点是实际物理节点的复制品,它们在哈希环上占据相同的物理节点所占的弧长,但数量更多。这样做的好处是可以将物理节点在哈希环上的分布变得...

    基于一致性哈希算法的分布式数据库高效扩展方法研究.pdf

    【摘要】中的“高效扩展”和“分布式数据库”是本文的核心话题,研究的是如何利用一致性哈希算法在大数据时代高效地扩展分布式数据库。一致性哈希算法最初由Karger等人提出,目的是解决分布式缓存的问题,它弥补了...

    一致性哈希算法及其在分布式系统中的应用

    为了进一步提高数据分布的均匀性和系统的灵活性,一致性哈希算法引入了虚拟节点的概念。虚拟节点本质上是物理节点的副本,但拥有唯一的标识符,这些标识符通过哈希函数映射到哈希环上。每个物理节点可以拥有一个或多...

    Mycat一致性哈希分片算法1

    Mycat 一致性哈希分片算法 Mycat是一款开源的数据库中间件,支持各种数据库管理系统,包括 MySQL、 PostgreSQL、Oracle 等。Mycat 的核心功能之一是分片(Sharding),它可以将大量数据分布式存储在多个数据库节点...

    一致性哈希算法在分布式系统中的应用.pdf

    而一致性哈希算法则通过引入虚拟节点的概念,使得服务器在整个哈希环上均匀分布,即使添加或删除服务器,也只有少量的数据需要迁移,极大地减少了系统的波动。 在分布式缓存系统如Memcached或Redis中,一致性哈希...

    一致性哈希算法应用及优化(最简洁明了的教程)

    为了进一步提高负载均衡性和系统的容错能力,一致性哈希算法引入了虚拟节点的概念。每个物理节点可以在环上占据多个位置,即多个虚拟节点,这样即使部分物理节点失效,其他节点仍然可以承担更多的数据存储任务,提高...

    分布式存储系统中一致性哈希算法的研究.pdf

    一致性哈希算法作为解决这一问题的重要手段之一,近些年来得到了广泛关注和应用。 一致性哈希算法由David Karger等人在1997年提出,它是一种特殊的哈希算法,主要用于分布式系统中实现负载均衡。与传统的哈希算法...

Global site tag (gtag.js) - Google Analytics