zookeeper学习笔记

 Unlike a typical file system, which is designed for storage, ZooKeeper data is kept in-memory, which means ZooKeeper can achieve high throughput and low latency numbers.

与其他文件系统不同，zookeeper的数据存储于内存中，也就意味着zookper可以实现较高吞吐与低延时。

The ZooKeeper implementation puts a premium on high performance, highly available, strictly ordered access.

 

 

 

The servers that make up the ZooKeeper service must all know about each other. They maintain an in-memory image of state, along with a transaction logs and snapshots in a persistent store. 

 

本文链接地址：http://quentinXXZ.iteye.com/blog/2117157           

 

以下是对《Hadoop 权威指南》第二版 zookeeper一章的笔记：

 

Znode

Zookeeper 被设计用来实现协调服务（通常使用小数据文件），而不是用于大容量数据存储，一个znode能存储的数据被限制在1MB以内。

原子性：读取一个znode，要么读到全部数据，要么失败，不会只读到部份数据。

              写操作不成功就失败，不会出现部份写的情况。

Znode路径必须是绝对路径。 

Znode 分两种：短暂的和持久的，类型在创建后不可修改。创建短暂znode的客户端会话结束时，zookeeper会将短暂znode删除。持久znode不依赖于客户端，只有当客户端（不一定是创建者）明确删除时，才会删除。短暂znode不可以有子节点。

Sequal znode是指名称中包含zookeeper指定顺序号的znode。顺序号可以用于为所有的事件进行全局排序，这样客户端就可以通过顺序号来推断事件的顺序。

 

Zookeeper基本操作

Create、delete、exists、getACL、setACL、getChildren、getData、setData、sync更新操作是有条件的，delete/setACL时，必须提供，被更新znode的版本号（可通过exists获得）。

 

API

客户端语言：java和C。每种绑定，执行操作时，可选择同步或异步执行。

 

观察触发器

可以在读操作exists、getChilden、getData上设置观察（watcher）。

Exists被触发时机：znode创建、删除、数据更新

getChilden被触发时机：被观察znode子节点被创建或删除，该znode自己被删除。

getData被触发时机: 被观察znode被删除或数据更新。

 

 
 

 

ACL

三种身份验证机制：

1、 digest 用户名+密码 2、host 主机名 3、ip 客户端IP

exists 操作不受ACL 权限的限制。

 
 

OPEN_ACL_UNSAFE是一种预定义的ACL, 它将所有的权限（除ADMIN限制）授予每个人。

 

Zookeeper运行模式

1、  standalone mode，不能保证HA。

2、 replicated mode。组成集群，作为一个“集合体”（ensemble）,通过复制实现高可用，只要集群中有半数以上的机器处于可用状诚，便可提供服务。 所以一个ensemble里面通常包奇数台机器。

Zookeeper所做的是，确保对znode树的每一个修改都会被复制到集合体中超过半数的机器上。如果少于半数，也至少有一台处于最新状态，其实副本最终也会被更新。

 

具体实现： Zab协议。

阶段1：leader选举

Ensemble中 选举出一个leader，其余为follower。一旦有半数以上（或指定数量）的follower与leader同步，则表明阶段已完成。

阶段2：原子广播（AB）

写请求都发给leader, 由leader将更新广播给follower。 半数以上的follwer将修改持久化后，leader才提交更新，客户端才会收到一个更新成功的响应。

 

一致性

每一个对znode树的更校报都被赋予了一个全局唯一的ID，称zxid(zookeeper transaction ID)。更新顺序严格按换zxid排列。

读操作不参与写操作的全局排序。客户端以Zookeeper服务器以处的机制进行通信，则可能靠成不一致。例如，客户端A将znode z的值修改，然后A告诉B去读取z值 ,B可能读到之前的值 ，这是 “跨客户端视图的同时一致性”。 为避免，B在取之前，要对z调用sync操作。

 

会话

空闲时间超过一定时间，客户端发ping，保持会话不过期，并检测服务器是否故障，使其能在会话超时的时间内重连到新的服务器。

客户端断开连接时，观察通知将无法发送，恢复连接后，这些延迟的通知会被发送。如果客户端重新连接至另一服务器过程中，应用程序试图执行一个操作，这个操作将会失败。

 

时间

Tick time 基本时间周期

Session timeout  范围 [2* tick Time , 20* tick Time]

服务器为每个会话分配一个唯一的ID和密码，如果在建立的过程中将它们传递给zookeeper，可以用于恢复一个会话（只要该会话没有过期）。

 

Zookeeper状态

1、Connecting  2、connected  3、closed

 

利用Zookeeper构建应用代码

1、 配置与获得最新配置

注意，在收到一次观察事件，发现znode有被修改，然后去进行一次读之间，znode可能在其间被更新过多，如果客户端在其间没有任何其他注册的话。

 

2、 可复原的zookeeper应用

InterruptedException异常，操作中断，不代表故障，而是操作被取消。

KeeperException:服务器发出错误信号或服务器存在通信。例如KeeperException.NoNodeException 不存在Node

一、状态异常： 例如版本号不匹配

二、可恢复异常: KeepException.ConnectionLossException。连接丢失，重连。需对幂等（idempotent）与非幂等(Nonidempotent)操作进行区分。幂等操作可重试。

三、不可恢复异常：会话已失效。 只能重连了。

 

3、锁服务

分布式锁在一组进程进程之间提供一种互斥机制。任何时间，只有一个进程可以持锁。分布式锁可以用于大型分布式系统中的实现领导的选举。

注意：不要将zookeeper自己的领导者选举和使用zookeeper基本操作的一般领导者选举服务混为一谈.

思路：一个znode作为锁 ，/leader; 为希望获得锁的客户端创建一些短暂顺序znode,作为znode的子节点。任何时间点内，顺序号最小的客户端将持有锁，例如，两个客户端，分别创建/leader/lock-1和/leader/lock-2，那创建/leader/lock-1的客户端便持有锁。删除/leader/lock-1即可释放锁；另外，如果客户端进程死亡，短暂znode自动被删除。通过创建一个znode删 除的watcher,可以在获得锁的时候得到通知。

问题1 ： 羊群效应。大量的客户端，每个客户端都在锁znode上设置一个watcher，用于捕捉子节点的变化。每次锁被释放或另一个进程开始获取锁时，watcher都会被触发，并且每个客户端都会收到一个通知。羊群效应，指大量客户端收到同一事件的通知。这样会产生流量峰值，但是只有一个客户端需要处理该事件。

解决方法：只有在前一个顺序号子节点消失时，才需要通知下一个客户端。

问题2：不能处理因连接丢失而导致的create操作失败。创建一个顺序znode是非幂等操作，不能简间重试，重试会多出一个远法删掉的孤儿znode(除非客户端会话结束)。不幸的结果是将会出现死锁。

解决方法：znode名称中嵌入一个ID, 根据ID可以得知创建操作是否已成功。

 

不可恢复异常: 如果会话过期，短暂znode会自动删除，这个过程中，锁是不能预知应用程序需要如何清理自清的状态的。

 

Zookeeper带有一个java实现的生产级别的锁实现，WriteLock.

 

分布式数据结构和协议： 屏障(barrier)、队列、两阶段提交协议。