hbase hbck

https://issues.apache.org/jira/browse/HBASE-5128 

https://github.com/jmhsieh/hbase-repair-scripts 

 

HBASE-5128之前版本的HBCK：

检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性 

 

（1）获取所有region的信息（regioninfo）：通过zk获得-ROOT-地址，通过扫描-ROOT-表和.META.表，就获得了所有region的信息 

（2）遍历所有的region，获得所有表信息 

（3）通过ClusterStatus获得regionserver信息 

（4）多线程连接每个regionserver，获得这个regionserver上面online的region信息。记录下region是在那个regionserver上面 

（5）遍历hbase.rootdir，获得所有的table，多线程遍历各个table的目录，记录下region是在那个目录下面 

（6）通过zk获得所有disabled的tables 

（7）检查一致性，检查每一个region 

      正常的状态是： 

      【1】在META表中，hdfs上面有，表不是disabled的， region在某个regionserver的online region集合中，META表中记录的server信息和open了这个region的regionserver一致，并且没有被多个regionserver同时服务 

      【2】在META表中，region是split完的Parent region，没有被某个regionserver服务 

      【3】在META表中，表是disabled的，并且没有被某个regionserver服务 

      异常的状态是： 

     （7.1）如果一个region即不在META表中，又不在hdfs上面，但是在regionserver的online region集合中，那么输出NOT_IN_META_HDFS错误信息 

     （7.2）如果一个region不在META表中，又不在regionserver的online region集合中，但是在hdfs上面，输出NOT_IN_META_OR_DEPLOYED错误信息 

     （7.3）如果一个region不在META表中，但是在hdfs上面有，并且在regionserver的online region集合中，那么输出NOT_IN_META错误信息 

     （7.4）如果一个region在META表中，但是在hdfs上面没有，并且也不在regionserver的online region集合中，那么输出NOT_IN_HDFS_OR_DEPLOYED错误信息 

     （7.5）如果一个region在META表中，并且在regionserver的online region集合中有，但是在hdfs上面没有，那么输出NOT_IN_HDFS错误信息 

     （7.6）如果一个region在META表中，在hdfs上面也有，但是不再online region集合中，并且这个region所在的table不是Disabled的，那么输出NOT_DEPLOYED错误信息。 可以修复 

     （7.7）如果一个region在META表中，在hdfs上面有，在online region集合中，如果这个region所在的table是Disabled的，那么输出SHOULD_NOT_BE_DEPLOYED错误信息。 

     （7.8）如果一个region在META表中，在hdfs上面有，但是被在多个regionserver的online region集合中，那么输出MULTI_DEPLOYED错误信息。可以修复 

     （7.9）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符，那么输出SERVER_DOES_NOT_MATCH_META错误信息。可以修复 

     （7.10）如果是其他情况，输出UNKNOWN 

（8）检查完整性，以table为单位，遍历每个table 

     （8.1）table的第一个region的startKey必须是EMPTY_BYTE_ARRAY，否则输出FIRST_REGION_STARTKEY_NOT_EMPTY信息 

     （8.2）如果这个table有（startKey=endKey）的region，输出DEGENERATE_REGION信息 

     （8.3）如果两个region的区间有重叠，startKey相同输出DUPE_STARTKEYS信息，不相同输出OVERLAP_IN_REGION_CHAIN信息 

     （8.4）如果某个区间没有region，输出HOLE_IN_REGION_CHAIN信息（空洞） 

（9）打印table的总结信息 

 

 

hbck加上 -fix 可以自己修复下面三种情况： 

（7.6）如果一个region在META表中，在hdfs上面也有，但是不再online region集合中，并且这个region所在的table不是Disabled的，那么输出NOT_DEPLOYED错误信息。 

（7.8）如果一个region在META表中，在hdfs上面有，但是被在多个regionserver的online region集合中，那么输出MULTI_DEPLOYED错误信息。 

（7.9）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符，那么输出SERVER_DOES_NOT_MATCH_META错误信息。

 

原先的hbck检测region的一致性和table的完整性，但是需要管理员自己修复，修复后，如果一致性和完整性没有问题，通过OfflineMetaRepair来构造新的META表 

 

HBASE-5128 中的hbck能够检测region的一致性和table的完整性，并且可以修复完整性和一致性相关的问题 

所以有了新版的hbck，这个github上面的脚本用途不是特别大 

 

新版的hbck

 

新版本的 hbck 可以修复各种错误，修复选项是： 

（1）-fix，向下兼容用，被-fixAssignments替代 

（2）-fixAssignments，用于修复region assignments错误 

（3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。 

（4）-fixHdfsHoles，修复region holes（空洞，某个区间没有region）问题 

（5）-fixHdfsOrphans，修复Orphan region（hdfs上面没有.regioninfo的region） 

（6）-fixHdfsOverlaps，修复region overlaps（区间重叠）问题 

（7）-fixVersionFile，修复缺失hbase.version文件的问题 

（8）-maxMerge <n> （n默认是5），当region有重叠是，需要合并region，一次合并的region数最大不超过这个值。 

（9）-sidelineBigOverlaps ，当修复region overlaps问题时，允许跟其他region重叠次数最多的一些region不参与（修复后，可以把没有参与的数据通过bulk load加载到相应的region） 

（10）-maxOverlapsToSideline <n> （n默认是2），当修复region overlaps问题时，一组里最多允许多少个region不参与 

由于选项较多，所以有两个简写的选项 

（11） -repair，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 

（12）-repairHoles，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans 

 

 

 

新版本的 hbck 

（1）缺失hbase.version文件 

 加上选项 -fixVersionFile 解决 

（2）如果一个region即不在META表中，又不在hdfs上面，但是在regionserver的online region集合中 

 加上选项 -fixAssignments 解决 

（3）如果一个region在META表中，并且在regionserver的online region集合中，但是在hdfs上面没有 

 加上选项 -fixAssignments -fixMeta 解决，（ -fixAssignments告诉regionserver close region），（ -fixMeta删除META表中region的记录） 

（4）如果一个region在META表中没有记录，没有被regionserver服务，但是在hdfs上面有 

加上选项 -fixMeta -fixAssignments 解决，（ -fixAssignments 用于assign region），（ -fixMeta用于在META表中添加region的记录） 

（5）如果一个region在META表中没有记录，在hdfs上面有，被regionserver服务了 

加上选项 -fixMeta 解决，在META表中添加这个region的记录，先undeploy region，后assign 

（6）如果一个region在META表中有记录，但是在hdfs上面没有，并且没有被regionserver服务 

加上选项 -fixMeta 解决，删除META表中的记录 

（7）如果一个region在META表中有记录，在hdfs上面也有，table不是disabled的，但是这个region没有被服务 

加上选项 -fixAssignments 解决，assign这个region 

（8）如果一个region在META表中有记录，在hdfs上面也有，table是disabled的，但是这个region被某个regionserver服务了 

加上选项 -fixAssignments 解决，undeploy这个region 

（9）如果一个region在META表中有记录，在hdfs上面也有，table不是disabled的，但是这个region被多个regionserver服务了 

加上选项 -fixAssignments 解决，通知所有regionserver close region，然后assign region 

（10）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符 

加上选项 -fixAssignments 解决 

 

（11）region holes 

需要加上 -fixHdfsHoles ，创建一个新的空region，填补空洞，但是不assign 这个 region，也不在META表中添加这个region的相关信息 

（12）region在hdfs上面没有.regioninfo文件 

-fixHdfsOrphans 解决 

（13）region overlaps 

需要加上 -fixHdfsOverlaps 

 

 

说明： 

（1）修复region holes时，-fixHdfsHoles 选项只是创建了一个新的空region，填补上了这个区间，还需要加上-fixAssignments -fixMeta 来解决问题，（ -fixAssignments 用于assign region），（ -fixMeta用于在META表中添加region的记录），所以有了组合拳 -repairHoles 修复region holes，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans 

（2） -fixAssignments，用于修复region没有assign、不应该assign、assign了多次的问题 

（3）-fixMeta，如果hdfs上面没有，那么从META表中删除相应的记录，如果hdfs上面有，在META表中添加上相应的记录信息 

（4）-repair 打开所有的修复选项，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 

 

新版本的hbck从（1）hdfs目录（2）META（3）RegionServer这三处获得region的Table和Region的相关信息，根据这些信息判断并repair