zookeeper的数据存储和同步

一，zookeeper中的文件存储及相关配置

zookeeper启动后，会将所有数据加载到内存中，但是也会在硬盘上留下数据文件和日志文件便于恢复。在配置文件中，有如下的一些参数与文件相关：

1. dataDir：保存内存快照数据的目录；
2. dataLogDir：保存 transaction log的目录；
3. globalOutstandingLimit ：单台服务器上未完成的最大客户端请求数(当客户端发送请求太快而集群来不及处理时)，默认1000.
4. preAllocSize：transaction log预设的文件大小，默认是64M，
5. snapCount：进行快照的阀值，默认10000；当transaction log条数达到 snapCount/2 + rand.nextInt(snapCount/2)时就做一次快照，使用随机数的原因是避免所有服务器会同时做快照

zookeeper的快照数据保存在$dataDir中，文件的命名格式为：snapshot.{16进制串}，其中16进制串是lastZxid转换后的值。相关序列化和反序列化的类可以看{org.apache.zookeeper.server.persistence.FileSnap}，快照文件中的内容包括文件头信息，DataTree数据及一些session数据。

事物日志则保存在$dataLogDir中，日志文件的命名格式类似与snapshot：log.{16进制串}，相关读写的类可以见{org.apache.zookeeper.server.persistence.FileTxnLog}。日志文件中的数据格式稍微复杂一点，如代码注释中所述：

1. * The format of a Transactional log is as follows:
2. *
3. <blockquote>
4. <pre> * LogFile:
5. *     FileHeader TxnList ZeroPad
6. *
7. * FileHeader: {
8. *     magic 4bytes (ZKLG)
9. *     version 4bytes
10. *     dbid 8bytes
11. *   }
12. *
13. * TxnList:
14. *     Txn || Txn TxnList
15. *
16. * Txn:
17. *     checksum Txnlen TxnHeader Record 0x42
18. *
19. * checksum: 8bytes Adler32 is currently used
20. *   calculated across payload -- Txnlen, TxnHeader, Record and 0x42
21. *
22. * Txnlen:
23. *     len 4bytes
24. *
25. * TxnHeader: {
26. *     sessionid 8bytes
27. *     cxid 4bytes
28. *     zxid 8bytes
29. *     time 8bytes
30. *     type 4bytes
31. *   }
32. *
33. * Record:
34. *     See Jute definition file for details on the various record types
35. *
36. * ZeroPad:
37. *     0 padded to EOF (filled during preallocation stage)

如果需要分析日志文件的话，可以考虑对FileTxnLog和FileTxnIterator做简单修改来暴露数据读取接口。
二，zookeeper的数据恢复过程

当进行一次快照时，就会重新生成一个新的日志文件，二者结合可以把数据恢复(断点+动作重放)，启动时数据恢复的具体的逻辑在{org.apache.zookeeper.server.persistence.FileTxnSnapLog}中：

1. snapLog.deserialize(dt, sessions);
2. FileTxnLog txnLog = new FileTxnLog(dataDir);
3. TxnIterator itr = txnLog.read(dt.lastProcessedZxid+1);
4. long highestZxid = dt.lastProcessedZxid;

代码中先读取快照数据生成断点映像，然后根据断点映像中最大zxid开始进行事务重放

三，zookeeper节点间的数据同步

当各个节点已经自我恢复并选举出leader后，leader就开始和follows进行数据同步了，具体的逻辑可以见{org.apache.zookeeper.server.quorum.LearnerHandler}中：

leader构建NEWLEADER包，内含leader最大数据的zxid, 广播给follows，然后leader根据follower数量为每个follower创建一个LearnerHandler线程来处理同步请求：leader主线程阻塞，等待超过半数follower同步完数据之后成为正式leader。
follower接收到NEWLEADER包后响应FOLLOWERINFO给leader，告知本方数据最大的zxid值； leader接收到回馈后开始判断：

1. 如果follower和leader数据一致，则直接发送DIFF告知已经同步；
2. 判断这一阶段内有无已经北提交的决议值，如果有，那么
   a) 如果有部分数据没有同步，leader发送DIFF包将有差异的数据同步过去，同时将follower没有的数据逐个发送commit包给follower要求记录下来；
   b) 如果follower数据zxid更大，发送TRUNC包给follower要求删除多余数据
3. 如果这一阶段没有提交的决议，直接发送SNAP包将快照同步给follower

以上消息完毕后，LEADER发送UPTODATE包告知follower当前数据已同步，等待follower的ACK完成同步过程。

本文出自 溪木镇的铁匠铺，转载时请注明出处及相应链接。

本文永久链接: http://www.zhouyoudao.com/zookeeper-data