高可用的HDFS学习笔记1

高可用的HDFS 写道

对于HDFS来说，每一份数据可以有多个副本，因此文件数据的可靠性由副本来解决。然而，对于元数据管理来说，只有一个节点NameNode,它的好坏直接道决定了HDFS能否正常服务，因此NameNode的高可用性决定了整个HDFS系统的高可用性。不同应用对HDFS高可用性有不同要求，目前Hadoop自身包括其他一些开源组织提供了一些相应的高可用性机制以满足不同的需要，如Backup Node方案以及AvatarNode方案等。
根据我们的实践经验，在使用以上方案解决实际问题时，需要具备以下几点基础：
首先是对NameNode元数据机制有较深入的理解和把握。
其次要对各种解决方案的运行机制及使用方法有个全面掌握。
再次就是要有较强的实践操作经验。

然而，就现实情况而言，要在以上任何一点取得一点进展都需要付出相当大的努力，回顾我们的团队在接触HDFS的高可用性之初，由于资料和经验的匮乏，每掌握一个知识点，都需要经历资料查找、邮件列表搜索、邮件请教、代码查看、实验验证等多个环节

 我想说的是，这让自己再一次告诫自己，正如我们学英语过来所说的，

别人总以为学英语有什么捷径，可是我们当教师的认为，就是多看、多用、多说，不懂就查，时间接触长了，就有了一定功底

我们既不可自卑，其实也没有必要和理由自卑,只要耐心与静心，下一个黑马就是我们