`
qindongliang1922
  • 浏览: 2181068 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117401
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125817
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59813
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71227
社区版块
存档分类
最新评论

分布式助手Zookeeper(一)

 
阅读更多
Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software
Foundation(ASF)顶级项目,它主要提供以下的四个功能:
功能名
组管理服务
分布式配置服务
分布式同步服务
分布式命名服务

Zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户;
Zookeeper的架构图如下:




Zookeeper的特点如下:
特点说明
最终一致性为客户端展示同一个视图,这是zookeeper里面一个非常重要的功能
可靠性如果消息被到一台服务器接受,那么它将被所有的服务器接受。
实时性Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
独立性各个Client之间互不干预
原子性更新只能成功或者失败,没有中间状态。
顺序性所有Server,同一消息发布顺序一致。



zookeeper的工作原理,
1.每个Server在内存中存储了一份数据;
2.Zookeeper启动时,将从实例中选举一个leader(Paxos协议)
3.Leader负责处理数据更新等操作(Zab协议);
4.一个更新操作成功,当且仅当大多数Server在内存中成功修改数据。


zookeeper中的几个重要角色:
角色名描述
领导者(Leader)领导者负责进行投票的发起和决议,更新系统状态,处理写请求
跟随者(Follwer)Follower用于接收客户端的读写请求并向客户端返回结果,在选主过程中参与投票
观察者(Observer)观察者可以接收客户端的读写请求,并将写请求转发给Leader,但Observer节点不参与投票过程,只同步leader状态,Observer的目的是为了,扩展系统,提高读取速度。
客户端(Client)执行读写请求的发起方



为什么,在3.3.0版本之后,引入Observer角色?

Zookeeper需保证高可用和强一致性;
为了支持更多的客户端,需要增加更多Server;
Server增多,投票阶段延迟增大,影响性能;
权衡伸缩性和高吞吐率,引入Observer
Observer不参与投票;
Observers接受客户端的连接,并将写请求转发给leader节点;
加入更多Observer节点,提高伸缩性,同时不影响吞吐率。




为什么zookeeper集群的数目,一般为奇数个?

Leader选举算法采用了Paxos协议;
Paxos核心思想:当多数Server写成功,则任务数据写成功
如果有3个Server,则两个写成功即可;
如果有4或5个Server,则三个写成功即可。
Server数目一般为奇数(3、5、7)
如果有3个Server,则最多允许1个Server挂掉;
如果有4个Server,则同样最多允许1个Server挂掉
由此,我们看出3台服务器和4台服务器的的容灾能力是一样的,所以
为了节省服务器资源,一般我们采用奇数个数,作为服务器部署个数。


zookeeper的数据模型:
基于树形结构的命名空间,与文件系统类似
节点(znode)都可以存数据,可以有子节点
节点不支持重命名
数据大小不超过1MB(可配置)
数据读写要保证完整性
层次化的目录结构,命名符合常规文件系统规范;
每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识;
节点Znode可以包含数据和子节点(EPHEMERAL类型的节点不能有子节点);
Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据需带上版本;
客户端应用可以在节点上设置监视器(Watcher);
节点不支持部分读写,而是一次性完整读写。

Znode有两种类型,短暂的(ephemeral)和持久的(persistent);
Znode的类型在创建时确定并且之后不能再修改;
短暂znode的客户端会话结束时,zookeeper会将该短暂znode删除,短暂znode不可以有子节点;
持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除;
Znode有四种形式的目录节点,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL。





Zookeeper的应用场景一(统一命名服务)
分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务;
类似于域名与ip之间对应关系,域名容易记住;
通过名称来获取资源或服务的地址,提供者等信息
按照层次结构组织服务/应用名称
可将服务名称以及地址信息写到Zookeeper上,客户端通过Zookeeper获取可用服务列表类




Zookeeper的应用场景二(配置管理)
分布式环境下,配置文件管理和同步是一个常见问题;
一个集群中,所有节点的配置信息是一致的,比如Hadoop;
对配置文件修改后,希望能够快速同步到各个节点上
配置管理可交由Zookeeper实现;
可将配置信息写入Zookeeper的一个znode上;
各个节点监听这个znode
一旦znode中的数据被修改,zookeeper将通知各个节点



Zookeeper的应用场景三(集群管理)

分布式环境中,实时掌握每个节点的状态是必要的;
可根据节点实时状态作出一些调整;
可交由Zookeeper实现;
可将节点信息写入Zookeeper的一个znode上;
监听这个znode可获取它的实时状态变化
典型应用
Hbase中Master状态监控与选举

Zookeeper的应用场景四(分布式通知和协调)
分布式环境中,经常存在一个服务需要知道它所管理的子服务的状态;
NameNode须知道各DataNode的状态
JobTracker须知道各TaskTracker的状态
心跳检测机制可通过Zookeeper实现;
信息推送可由Zookeeper实现(发布/订阅模式)


Zookeeper的应用场景五(分布式锁)
Zookeeper是强一致的;
多个客户端同时在Zookeeper上创建相同znode,只有一个创建成功。
实现锁的独占性
多个客户端同时在Zookeeper上创建相同znode ,创建成功的那个客户端得到锁,其他客户端等待。
控制锁的时序
各个客户端在某个znode下创建临时znode (类型为CreateMode.EPHEMERAL_SEQUENTIAL),这样,该znode可掌握全局访问时序。



Zookeeper的应用场景六(分布式队列)
两种队列;
当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达,这种是同步队列。
队列按照 FIFO 方式进行入队和出队操作,例如实现生产者和消费者模型。(可通过分布式锁实现)
同步队列
一个job由多个task组成,只有所有任务完成后,job才运行完成。
可为job创建一个/job目录,然后在该目录下,为每个完成的task创建一个临时znode,一旦临时节点数目达到task总数,则job运行完成。


  • 大小: 71.7 KB
分享到:
评论
1 楼 bit1129 2014-12-09  
最后可为job创建一个/job目录,然后在该目录下,为每个完成的task创建一个临时znode,一旦临时节点数目达到task总数,则job运行完成,如果有个节点的任务完成,临时节点也创建了,但是这个节点挂了,临时节点删了,也就是临时节点数永远达不到任务数。

相关推荐

    zookeeper连接工具zktools

    Zookeeper作为一个分布式协调服务,在云原生环境中扮演着至关重要的角色。它提供了一种可靠的方式来管理和维护配置信息、命名服务、集群同步、分布式锁等。为了方便开发者与Zookeeper进行交互,出现了各种实用工具,...

    zookeeper-3.4.9.zip

    Zookeeper,作为Apache的一个开源项目,是分布式应用程序协调服务的首选工具,尤其在Eureka宣布停更后,它的重要性更是凸显出来。Zookeeper 3.4.9是其历史版本之一,尽管当前可能已有更新版本,但这个版本在很多实际...

    zookeeper客户端.zip

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供给用户。...

    zookeeper可视化工具

    **Zookeeper可视化工具详解** Apache ZooKeeper 是一个分布式...总之,Zookeeper可视化工具是管理和维护Zookeeper集群不可或缺的助手,通过它们,我们可以更高效、更安全地操作Zookeeper,实现分布式系统的稳定运行。

    zookeeper的myeclipse插件

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供给用户。...

    Ant编译后的zookeeper源码

    Apache ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供给...

    超级好用的zookeeper查看器

    在分布式系统中,Zookeeper提供了一种名为“ZNode”的数据结构,类似于文件系统的目录树,用于存储和共享数据。ZNode可以包含数据和子ZNode,每个ZNode都有唯一的路径标识。这种结构使得数据的组织和访问变得直观且...

    ZooInspector:一款ZooKeeper的可视化工具

    ZooKeeper是Apache软件基金会的一个项目,它提供了一个分布式协调服务,广泛应用于分布式系统中,如配置管理、命名服务、分布式同步、组服务等。ZooInspector作为ZooKeeper的可视化界面,极大地简化了用户与...

    zookeeper eclipse plugin

    ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ...

    zookeeper之节点基本操作(一).zip

    在分布式系统领域,ZooKeeper 是一个至关重要的组件,它为分布式应用程序提供了高效且可靠...在实际项目中,ZooKeeper 被广泛应用于配置管理、命名服务、分布式锁、队列等多个场景,是构建高可用分布式系统的得力助手。

    zookeeper-web-master.zip

    总的来说,"zookeeper-web"是Zookeeper管理的得力助手,它通过Web界面极大地提升了Zookeeper的易用性,是分布式系统管理员的必备工具之一。掌握"zookeeper-web"的使用,不仅可以提升工作效率,也有助于更好地理解和...

    ZooInspector-for-zookeeper数据查看

    ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务,它是集群管理的基石,广泛应用于大数据领域的分布式系统中,如Hadoop、HBase等。它提供了一个高可用、高性能的命名服务、配置管理、分布式同步以及组...

    zookeeper可视化JAVA工具ZooInspector

    在IT行业中,Zookeeper是Apache软件基金会的一个开源项目,常用于分布式协调服务,确保数据的一致性和高可用性。而ZooInspector则为这个复杂的分布式系统提供了友好的图形用户界面(GUI),极大地简化了开发者和管理...

    zookeepers分布式

    总结来说,ZooKeeper作为分布式系统的协调者,通过提供强一致性、高可用性的服务,极大地简化了分布式环境下的复杂问题,成为大数据和云计算领域的得力助手。理解和掌握ZooKeeper,对于开发和运维分布式系统具有重要...

    开源监控管理zookeeper工具:exhibitor-1.6

    总的来说,Exhibitor是Zookeeper管理员的得力助手,通过它,你可以更高效地管理和维护Zookeeper集群,确保分布式系统的稳定运行。正确配置和使用Exhibitor对于提升Zookeeper的运维效率和系统可靠性具有重要意义。

    zookeeper查看器

    **Zookeeper查看器:ZooInspector详解** ...总结来说,ZooInspector作为Zookeeper的辅助工具,提供了一个图形化的接口,方便用户理解和管理Zookeeper集群,对于开发者和运维人员来说,它是不可或缺的调试和管理助手。

    zookeeper-3.4.6

    Apache ZooKeeper 是一个高度可靠的分布式协调系统,常用于解决分布式环境中的数据一致性问题。在3.4.6版本中,Zookeeper展现了其强大的功能和稳定性,为各种分布式应用提供了坚实的基础。 Zookeeper的核心概念是...

    zookeeper可视化工具安装包

    总之,Zookeeper 可视化工具是管理和维护 Zookeeper 集群的强大助手,能够简化操作流程,提高运维效率,是 IT 专业人士不可或缺的工具之一。通过熟练掌握和使用这些工具,可以更好地管理和优化基于 Zookeeper 的...

    多线程入门,分布式锁,等相关资料

    总结来说,本资源包提供的"多线程入门资料"涵盖了多线程的基本概念、实现方式、线程同步与通信、并发问题及其解决方案,以及分布式锁的原理与实现,是学习Java多线程和分布式系统的好助手。通过深入学习和实践,...

Global site tag (gtag.js) - Google Analytics