- 浏览: 425321 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (433)
- 编程语言-JAVA/Scala/Clojure/Grovvy (86)
- 编程语言-C (227)
- 编程语言-Rust/C++/Objective-C/Objective-C++ (97)
- 编程语言-PHP (4)
- 编程语言-Perl (4)
- 编程语言-Javascript (6)
- 编程语言-Scheme/Lisp (9)
- 编程语言-lua (5)
- 编程语言-erl (4)
- 编程语言-go (4)
- 编程语言-Ruby (3)
- 编程语言-python (4)
- 编程语言-smalltalk (3)
- 编程语言-guile (3)
- 算法结构 (32)
- 多线程编程 (2)
- 网络编程 (7)
- 并发编程 (21)
- 并行编程 (2)
- 事务 (4)
- 架构/编程-模型/模式/思想 (6)
- 开发框架-Spring (2)
- 开发框架-ibatis (0)
- 开发框架-Struts (0)
- 开发框架-Hibernate (0)
- 开发框架-mybatis (0)
- 分布式 (38)
- 分布式存储 (10)
- 分布式文件系统-dfs (4)
- 分布式计算 (2)
- 分布式事务 (10)
- 分布式数据中间件 (1)
- 分布式服务框架 (12)
- rpc (8)
- 通信 (23)
- 电信 (3)
- 电商 (1)
- 互联网应用 (2)
- 大前端 (5)
- 第三方支付 (2)
- CSS (1)
- android (3)
- ios (0)
- html5 (0)
- kafka (0)
- memcached (2)
- nginx (1)
- 并行计算 (1)
- 实时计算 (0)
- Storm (0)
- 数据库 (7)
- mysql (6)
- oracle (3)
- redis (4)
- mongodb (2)
- hbase (1)
- dal (0)
- handoop (1)
- 机器学习-ML (3)
- 深度学习-DL (0)
- 神经网络 (0)
- netty (4)
- mina (0)
- 大数据 (7)
- 大数据-算法 (0)
- 大数据-框架&平台 (3)
- 人工智能 (7)
- 人工智能-算法 (4)
- 人工智能-框架&平台 (0)
- 协议 (42)
- 安全 (15)
- 消息队列 (2)
- os(linux、windows) (85)
最新评论
Zab
(ZooKeeper Atomic Broadcast)
(ZooKeeper原子广播协议,一种分布式一致性协议)
目录
Zab(ZooKeeper原子广播协议,一种分布式一致性协议), ZooKeeper用它来传播扩展由ZooKeeper领导者(leader)引发的状态变更。
Zab实现了一个简单的全序广播协议(A simple totally ordered broadcast protocol,一种分布式一致性协议)
A simple totally ordered broadcast protocol,一种分布式一致性协议可参考文档http://diyhpl.us/~bryan/papers2/distributed/distributed-systems/zab.totally-ordered-broadcast-protocol.2008.pdf
1 介绍
在雅虎,我们开发了一个高性能,高可用的协作服务Zookeeper,允许大规模应用程序执行协调任务如领导人选举,状态传播,以及约定集会。此服务实现了一个分层空间的数据节点(znode),客户端使用它来实现它们的协调工作。我们发现这个服务性能非常灵活,很容易满足我们在雅虎的网站规模、关键任务应用程序的生产需求。ZooKeeper没有使用锁,而是采用wait-free共享数据对象来保证在这些对象上操作的顺序。
2 要求
我们假设一组过程,这些过程实现了原子广播协议并且使用该协议。在Zookeeper中,为了保证正确的转换为幂等请求,必须在同一时刻只能有一个领导者(leader),因此,通过协议实现,我们将其中一个过程升级为领导者这样的一个过程。当我们介绍协议的更多详细细节时,我们会更多的讨论它。
关于广播协议,Zoopkeeper要求如下:
可靠传递
如果某个服务器成功投递了一个消息m,那么,所有正确的服务器终将成功投递这个消息。
全序
如果某个服务器成功投递了消息a和b,并且消息a比消息b先投递,那么每个投递消息a和b的服务器在投递消息时,消息a比消息b先投递。
因果顺序
如果消息a有原因地先于消息b投递,并且都成功投递,那么消息a必须顺序先于b投递。
为了保证正确性,Zoopkeeper还要求以下前缀属性:
前缀属性
如果消息m是领导者(leader)L投递的最后一个消息,在消息m被投递之前的任何被领导者(leader)L提议的消息也必须是投递成功的。
备注:一个过程可能被选举多次,但每次选举出来作为领导者(leader),对前缀属性所起的作用被认为是不同的领导者(leader)。
通过以下3个保证,我们能维护正确的ZooKeeper数据库副本:
1、 可靠性和全序保证确保所有的副本有一个一致的状态。
2、 使用Zab协议,从应用程序的角度看,因果顺序确保副本状态的正确
3、 领导者根据收到的请求向数据库提出更新。
Zab考虑了两种类型的因果关系。注意下这个,这个很重要。
1、 如果两个消息a和b,被同一个服务器发送,并且消息a先于消息b被提议,我们说消息a有原因地先于b。
2、 Zab假设同一时刻只有一个领导者(leader)能提交提议。如果领导者发生变化,任何之前提议的消息有原因地先于被新领导者(leader)提议的消息。
因果关系违例。
其他性能要求如下:
低延时
突发性的高吞吐量
平滑的故障处理
3 为什么需要另一种协议
4 协议
Zab协议包括两种模式:恢复(recovery)模式和广播(broadcast)模式。
4.1 广播
5 结束语
1、 Zab, https://cwiki.apache.org/confluence/display/ZOOKEEPER/Zab
2、 A simple totally ordered broadcast protocol, http://diyhpl.us/~bryan/papers2/distributed/distributed-systems/zab.totally-ordered-broadcast-protocol.2008.pdf
3、
(ZooKeeper Atomic Broadcast)
(ZooKeeper原子广播协议,一种分布式一致性协议)
目录
Zab(ZooKeeper原子广播协议,一种分布式一致性协议), ZooKeeper用它来传播扩展由ZooKeeper领导者(leader)引发的状态变更。
Zab实现了一个简单的全序广播协议(A simple totally ordered broadcast protocol,一种分布式一致性协议)
A simple totally ordered broadcast protocol,一种分布式一致性协议可参考文档http://diyhpl.us/~bryan/papers2/distributed/distributed-systems/zab.totally-ordered-broadcast-protocol.2008.pdf
1 介绍
在雅虎,我们开发了一个高性能,高可用的协作服务Zookeeper,允许大规模应用程序执行协调任务如领导人选举,状态传播,以及约定集会。此服务实现了一个分层空间的数据节点(znode),客户端使用它来实现它们的协调工作。我们发现这个服务性能非常灵活,很容易满足我们在雅虎的网站规模、关键任务应用程序的生产需求。ZooKeeper没有使用锁,而是采用wait-free共享数据对象来保证在这些对象上操作的顺序。
2 要求
我们假设一组过程,这些过程实现了原子广播协议并且使用该协议。在Zookeeper中,为了保证正确的转换为幂等请求,必须在同一时刻只能有一个领导者(leader),因此,通过协议实现,我们将其中一个过程升级为领导者这样的一个过程。当我们介绍协议的更多详细细节时,我们会更多的讨论它。
关于广播协议,Zoopkeeper要求如下:
可靠传递
如果某个服务器成功投递了一个消息m,那么,所有正确的服务器终将成功投递这个消息。
全序
如果某个服务器成功投递了消息a和b,并且消息a比消息b先投递,那么每个投递消息a和b的服务器在投递消息时,消息a比消息b先投递。
因果顺序
如果消息a有原因地先于消息b投递,并且都成功投递,那么消息a必须顺序先于b投递。
为了保证正确性,Zoopkeeper还要求以下前缀属性:
前缀属性
如果消息m是领导者(leader)L投递的最后一个消息,在消息m被投递之前的任何被领导者(leader)L提议的消息也必须是投递成功的。
备注:一个过程可能被选举多次,但每次选举出来作为领导者(leader),对前缀属性所起的作用被认为是不同的领导者(leader)。
通过以下3个保证,我们能维护正确的ZooKeeper数据库副本:
1、 可靠性和全序保证确保所有的副本有一个一致的状态。
2、 使用Zab协议,从应用程序的角度看,因果顺序确保副本状态的正确
3、 领导者根据收到的请求向数据库提出更新。
Zab考虑了两种类型的因果关系。注意下这个,这个很重要。
1、 如果两个消息a和b,被同一个服务器发送,并且消息a先于消息b被提议,我们说消息a有原因地先于b。
2、 Zab假设同一时刻只有一个领导者(leader)能提交提议。如果领导者发生变化,任何之前提议的消息有原因地先于被新领导者(leader)提议的消息。
因果关系违例。
其他性能要求如下:
低延时
突发性的高吞吐量
平滑的故障处理
3 为什么需要另一种协议
4 协议
Zab协议包括两种模式:恢复(recovery)模式和广播(broadcast)模式。
4.1 广播
5 结束语
1、 Zab, https://cwiki.apache.org/confluence/display/ZOOKEEPER/Zab
2、 A simple totally ordered broadcast protocol, http://diyhpl.us/~bryan/papers2/distributed/distributed-systems/zab.totally-ordered-broadcast-protocol.2008.pdf
3、
发表评论
-
SMTP
2021-05-22 02:50 345写道 https://lobin.iteye.com/a ... -
SMTP
2021-05-22 02:48 0SMTP 是一个简单的邮 ... -
GnuTLS
2020-10-20 06:44 1036GnuTLS nettle # wget ftp:// ... -
网络协议 第3篇: IP v6
2020-10-14 04:50 375>which ipv6 /cygdrive/c/W ... -
Redis: 安装
2020-10-12 05:02 342Redis 安装 其实之前有一篇文章记录过red ... -
网络协议 第2篇: IP
2020-01-12 19:52 512IP IPv4网络地址是一个32位的地址。 可以 ... -
对象文件结构的分析:VC
2019-06-01 02:03 618我们在Windows下编程时,如我们在VC下开发C/C++ ... -
Windows可执行文件结构的分析:exe 第3篇:VC
2019-06-01 00:23 17152Windows下程序通常是以.exe后缀的程序文件,这是一 ... -
关于原子性
2019-05-25 00:56 498关于原子性 -
HTTP规范中关于消息的header头部
2019-03-22 21:06 1819HTTP规范中关于消息的header头部 HTTP ... -
HTTP规范中关于请求/响应中的message-body和entity-body
2019-03-10 01:37 3103HTTP规范中关于请求/响应中的message-bo ... -
持久性和一致性:事务日志的记录以及在记录数据时和数据保持一致
2019-03-07 18:55 697持久性和一致性:事务日志的记录以及在记录数据时和数据保持一 ... -
Windows可执行文件结构的分析:exe 第2篇
2019-03-02 22:05 13436以下是在Windows Cygwin环境下gcc编译的可执 ... -
关于order的问题
2019-02-27 21:19 493关于order的问题 这 ... -
HTTP协议分析
2019-02-27 17:40 2599写道 Hypertext Transfer Protoc ... -
再谈分布式服务及框架
2019-02-17 02:18 455再谈分布式服务及框 ... -
服务网格 vs 去中心化的服务发现机制的分布式服务
2019-02-16 01:18 752服务网格 vs 去中心化的服务发现机制的分布式服务 -
微服务
2019-02-14 01:44 1005Ribbon是微服务的一个核心基础组件,提供多协议HTTP ... -
Last Agent Optimization
2018-09-30 19:42 467Last Agent Optimization 1. Non ... -
RLP
2018-04-05 14:14 609RLP Recursive Length Prefix RL ...
相关推荐
原子广播协议在ZooKeeper中被称为 zab(ZooKeeper Atomic Broadcast),它的设计灵感来源于Paxos算法,但简化了一些复杂性,以适应高吞吐量和低延迟的需求。zab分为两种模式:恢复模式和广播模式。 1. **恢复模式**...
ZOOKEEPER基于PAXOS算法的变种ZAB(ZooKeeper Atomic Broadcast)实现了一种强一致性的分布式协调服务。ZAB协议确保了在分布式系统中,所有节点对于数据更新的顺序有一致的认识,从而保证了数据的一致性。 在...
它采用了ZAB(Zookeeper Atomic Broadcast)协议,这是一种基于Paxos算法优化的快速一致性协议,能够在保证强一致性的前提下,提高系统的可用性和性能。 在Zookeeper中,数据以树形结构进行组织,每个节点称为ZNode...
3. Zookeeper架构:描述Zookeeper的服务器集群结构,包括ZAB(Zookeeper Atomic Broadcast)协议,它是Zookeeper实现一致性的重要机制。 4. Zookeeper API:讲解如何使用Zookeeper提供的客户端API进行数据操作、监控...
Zookeeper在其实现中并没有直接使用Paxos算法,而是采用了一种简化版本的Paxos算法——Zab协议(Zookeeper Atomic Broadcast)。Zab协议结合了Paxos算法的优点,同时也考虑到了分布式系统中的网络延迟和故障恢复等...
ZOOKEEPER采用了类似PAXOS的一致性算法——ZAB(ZOOKEEPER Atomic Broadcast),它简化了PAXOS,专注于主备选举和原子广播,确保了在分布式环境中数据的一致性和完整性。 在ZOOKEEPER的实践中,它提供了如下的核心...
Zookeeper采用了ZAB(Zookeeper Atomic Broadcast)协议,这是对Paxos的一种优化和简化,更适应实际应用场景的需求。ZAB协议保证了在部分节点故障的情况下,Zookeeper集群仍然能够继续提供强一致性的服务。 在...
ZooKeeper通过Zab协议来实现其原子广播功能,确保了在分布式系统中的所有更新操作都是全序的,即操作是有顺序的,并且这个顺序对于所有节点来说都是一致的。这保证了即使在分布式系统中节点的加入、离开或者出现故障...
原子广播是分布式系统中确保一致性的一种机制。在ZooKeeper的上下文中,原子广播协议允许所有副本对领导者的选择、状态更新和成员变更达成共识。这一过程需要在不丢失更新,不重复执行更新,并且保证所有非故障节点...
ZooKeeper基于PAXOS算法的简化版本——ZAB(ZooKeeper Atomic Broadcast)协议,实现了高可用性和一致性。ZAB协议保证了在领导者选举、数据同步等操作中的原子广播,确保所有副本节点状态的一致性。 在ZooKeeper中...
《从PAXOS到ZOOKEEPER分布式一致性原理与实践》是一本深入探讨分布式系统一致性问题的书籍,其中源码部分对于理解ZOOKEEPER如何实现分布式一致性具有极高的价值。PAXOS算法是分布式计算领域的一个里程碑,它为解决...
ZooKeeper采用了ZAB(ZooKeeper Atomic Broadcast)协议,这是一种基于主备模式的快速恢复一致性协议,它简化了Paxos算法,确保在分布式环境中高效地进行状态同步。 在ZooKeeper的3.4.6版本中,有以下关键特性: 1....
ZAB 协议全称为 Zookeeper Atomic Broadcast(Zookeeper 原子广播协议),主要是为了解决分布式一致性而设计的一种实现方法。它解决的是数据方面的一致性问题,目的是保证 Leader 中的数据和 Follower 中的数据保持...
Zookeeper基于Paxos算法的变种ZAB(Zookeeper Atomic Broadcast)实现了一致性模型,保证了数据的强一致性。Zookeeper的服务框架包括客户端API、服务器端架构、数据模型(ZNode)、 watches机制等,这些都为开发者...
ZAB(Zookeeper Atomic Broadcast)是Apache ZooKeeper的核心协议,用于实现分布式系统中的原子广播。Zookeeper是一个分布式的,开放源码的协调服务,它提供了一种简单有效的原语集,使得分布式应用能够处理命名服务...
在Zookeeper中,一致性是通过ZAB(Zookeeper Atomic Broadcast)协议实现的。ZAB协议结合了Paxos的思想,设计了一种主备模式的分布式协调机制。当领导者节点接收到更新请求时,它会将这些请求封装成事务提案,并广播...
在分布式一致性方面,ZooKeeper采用了类似Paxos的Zab协议(ZooKeeper Atomic Broadcast)。Zab协议保证了在分布式环境中的消息原子性广播,确保所有服务器最终达成一致状态。它结合了领导者选举、原子广播和故障恢复...