`
weitao1026
  • 浏览: 1062659 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

分布式配置服务etcd VS 分布式协调服务zookeeper

 
阅读更多

etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的,灵感来自于 ZooKeeper 和 Doozer,它使用Go语言编写,并通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个来自Stanford的新的一致性算法,适用于分布式系统的日志复制,Raft通过选举的方式来实现一致性,在Raft中,任何一个节点都可能成为Leader。Google的容器集群管理系统Kubernetes、开源PaaS平台Cloud Foundry和CoreOS的Fleet都广泛使用了etcd。

etcd 集群的工作原理基于 raft 共识算法 (The Raft Consensus Algorithm)。etcd 在 0.5.0 版本中重新实现了 raft 算法,而非像之前那样依赖于第三方库 go-raft 。raft 共识算法的优点在于可以在高效的解决分布式系统中各个节点日志内容一致性问题的同时,也使得集群具备一定的容错能力。即使集群中出现部分节点故障、网络故障等问题,仍可保证其余大多数节点正确的步进。甚至当更多的节点(一般来说超过集群节点总数的一半)出现故障而导致集群不可用时,依然可以保证节点中的数据不会出现错误的结果。

 

背景

coreOS中使用了etcd作为集群配置服务,拥有众多出色的特点,etcd是一个key,value的数据服务器,单实例可达每秒 1000 次写操作,以及方便的REST接口。 zookeeper则是在Hadoop中大放光彩的分布式协调服务,提供了分布式锁,数据同步,等服务。

从功能上看,二者都可以很好的完成集群中分布式中遇到的同步,配置问题,但是不可否认,这2种服务在设计的时候的目的不同,也让这2中服务有着不小的差异。

etcd

目的: 一个高可用的 Key/Value 存储系统,主要用于分享配置和服务发现

接口: REST接口(HTTP+JSON)方便集群中每一个主机访问

功能: 提供了key,value存储服务,集群队列同步服务,观察一个key的数值变化,以及查询历史key值信息等

分布式协议: Raft一致性协议。提供强一致性保证

部署形态: 采用小集群(etcd server节点组成一个集群)+大集群(其它节点来直接使用服务)的形式,集群可以达到上千节点

实现语言: go 拥有几乎不输于C的效率,特别是go语言本身就是面向多线程,进程通信的语言。在小规模集群中性能非常突出

zookeeper

目的: 高有效和可靠的协同工作系统

接口: 基于TCP的自协议,需要安装相应客户端程序

功能: 提供了key,value存储服务,集群中简历临时节点,观察key值变化等

分布式协议: 集运Paxos一致性协议,改进的Zab协议。提供强一致性保证

部署形态: 采用小集群(zookeeper server节点组成一个集群)+大集群(其它节点来直接使用服务)的形式,集群可以达到上千节点

实现语言: java,实现代码量要多于go,在小规模集群中性能一般,但是在大规模情况下,使用对多线程的优化后,也和go相差不大

总结:

可以看到因为设计思路的不同,在原生接口和提供服务方式方面,etcd更适合作为集群配置服务器,用来存储集群中的大量数据。方便的REST接口也可以让集群中的任意一个节点在使用key value服务时获取方便。zookeeper则更加的适合于提供分布式协调服务,他在实现分布式锁模型方面较etcd要简单的多。所以在实际使用中应该根据自身使用情况来选择相应的服务。

 

 

分享到:
评论

相关推荐

    分布式配置文件

    分布式配置文件的实现通常依赖于一种中心化的存储系统,如ZooKeeper、Consul、etcd等,这些系统提供了高可用性和一致性保证,能够确保配置数据在整个集群中的统一性和实时性。当配置发生变更时,这些系统会自动将...

    分布式锁/信号量的实现方式:基于Redis、Zookeeper 、etcd 的分布式锁 确保在分布式环境中安全地访问共享资源

    Zookeeper是一个分布式协调服务,常被用于实现分布式锁等高级功能。其内部机制保证了高可用性和强一致性,非常适合实现分布式锁。 - **获取锁**: ```python from kazoo.client import KazooClient zk = ...

    zookeeper,etcd,consul对比.docx

    Zookeeper 是一种分布式应用程序协调服务,它是 Apache 软件基金会下的一个开源项目。Zookeeper 起源于 Hadoop,帮助在 Hadoop 集群中管理配置和名称服务。Zookeeper 提供了一个树形结构的名称空间,用于存储配置和...

    分布式配置中心-rainbow.zip

    5. **分布式一致性**:可能采用ZooKeeper或Etcd等分布式协调服务来实现配置变更的高可用和一致性。 6. **Web界面**:提供图形化界面,让管理员可以方便地查看和管理配置。 通过分析和实践"rainbow-master"项目,...

    分布式系统基石-etcd.pdf

    etcd 是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd 是由 CoreOS 开发并维护的,灵感来自于 ZooKeeper 和 Doozer,它使用 Go 语言编写,并通过 Raft 一致性算法处理日志复制以保证强一致性。

    分布式命名服务器Distributednameserver

    这个项目可能采用了Node.js作为开发语言,利用了Node.js的网络模块来实现服务间的通信,以及一些开源库(如Consul、etcd或Zookeeper)来提供分布式命名服务的功能。开发者可能已经封装了与这些分布式系统交互的API,...

    Disconf分布式配置管理平台 v2.6.36.zip

    6. **源码分析**:对于开发者而言,通过获取到的"disconf-2.6.36"源码,可以深入理解其内部实现机制,包括配置的加载、分布式的实现细节以及与其他系统(如Zookeeper或Etcd)的集成策略。 7. **毕业设计与论文**:...

    基于due分布式游戏服务器框架实现的麻将游戏服务器.zip

    可能利用诸如etcd或zookeeper这样的分布式协调服务来管理集群状态,实现服务器间的负载均衡和故障恢复。 5. **数据库模块**:游戏数据如玩家信息、战绩等通常需要持久化存储,Go语言有诸多优秀的数据库驱动可以选择...

    etcd实战及其原理分析.pdf

    etcd是一个基于Go语言构建的开源分布式键值存储系统,设计目标是为分布式系统提供强一致性的、高可用的配置共享和服务发现功能。它专注于提供可靠的分布式键值存储,使得在分布式环境中管理和共享关键数据变得简单。...

    第五章:对比Chubby、etcd和ZooKeeper1

    ZooKeeper受到Chubby启发,两者有许多相似之处,如提供分布式协调服务和强一致性保证。但ZooKeeper在设计上更注重性能和可扩展性,支持更多的数据结构操作,并且是开源的,因此在社区支持和应用场景上更加广泛。例如...

    PyPI 官网下载 | etcd_tree-0.9.9.tar.gz

    `etcd_tree`这个名字暗示了它与`etcd`和`ZooKeeper`这两种分布式协调服务有关。`etcd`是由CoreOS开发的一个高可用的键值存储系统,用于共享配置和服务发现,它基于gRPC协议,支持多语言客户端。而`ZooKeeper`是...

    西工大网络与分布式实验4web

    分布式协调服务,如Zookeeper或Etcd,可以帮助管理分布式系统的状态,提供命名服务、配置管理、集群成员发现等功能,简化分布式环境下的操作。 【并发控制与事务处理】 在分布式Web环境中,多用户并发访问可能导致...

    zookeeper.7z

    - **Zookeeper 与 Etcd 的区别**:两者都是分布式协调服务,但 Zookeeper 更注重于提供强一致性,适用于需要高可用和强一致性的场景,而 Etcd 基于Raft算法,更强调简单性和性能。 - **Zookeeper 的 ACID 属性**:...

    etcd-v2.0.5-linux-amd64

    与传统的分布式协调服务如Zookeeper相比,etcd不仅提供了一个简单的键值存储接口,还通过其底层实现的**Raft一致性算法** 提供了强大的数据一致性保证。Raft算法相比Paxos算法,更加易于理解和实现,同时保持了强...

    分布式开发经典论文集

    最后,分布式协调服务,如Zookeeper和Etcd,它们提供命名服务、配置管理、集群状态协调等功能,帮助分布式应用解决一致性问题。 这些论文涵盖了从理论到实践的广泛主题,对于想要深入理解分布式系统开发的工程师来...

    viper配置框架的介绍支持zookeeper的读取和监听

    Zookeeper是一种分布式服务协调框架,常用于存储和管理配置数据,提供高可用和一致性。在Viper的官方实现中,目前仅支持etcd和Consul作为远程配置提供者,不包含对Zookeeper的支持。当尝试使用`viper....

    关于分布式系统的ppt

    3. **分布式协调服务**:可能会讨论Zookeeper、Etcd等分布式协调服务的工作原理,它们在分布式系统中的角色,以及如何实现服务注册与发现、配置管理、锁服务等功能。 4. **分布式存储系统**:深入分析Hadoop HDFS、...

    分布式_分布式_diagramfs1_

    10. **分布式协调**:分布式协调服务如Zookeeper、etcd用于管理分布式系统中的配置、命名、同步等问题,确保系统间的协同工作。 通过阅读“分布式.doc”文档,你可以更深入地了解分布式系统的概念、设计原则以及...

    东北大学_研究生_期末考试之分布式系统及应用

    9. **分布式锁和服务发现**:例如Zookeeper和Etcd,它们在分布式环境中提供协调服务,实现服务注册、发现和锁管理。 10. **云计算平台**:如Amazon AWS、Microsoft Azure、Google Cloud Platform等,它们提供了丰富...

    Python-Patroni是一个使用ZooKeeperetcd或Consul的PostgreSQL高可用性模板

    - **ZooKeeper**:Apache ZooKeeper是一个分布式协调服务,用于管理分布式系统的配置信息、命名服务、同步和组服务等。Patroni利用ZooKeeper进行节点间的通信和故障检测。 - **etcd**:etcd是由CoreOS开发的键值...

Global site tag (gtag.js) - Google Analytics