- 浏览: 347437 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
lvyuan1234:
你好,你那个sample.txt文件可以分享给我吗
hive insert overwrite into -
107x:
不错,谢谢!
hive 表的一些默认值 -
on_way_:
赞
Hadoop相关书籍 -
bupt04406:
dengkanghua 写道出来这个问题该怎么解决?hbase ...
Unexpected state导致HMaster abort -
dengkanghua:
出来这个问题该怎么解决?hbase master启动不起来。
Unexpected state导致HMaster abort
https://issues.apache.org/jira/browse/HBASE-5128
https://github.com/jmhsieh/hbase-repair-scripts
HBASE-5128之前版本的HBCK:
检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性
(1)获取所有region的信息(regioninfo):通过zk获得-ROOT-地址,通过扫描-ROOT-表和.META.表,就获得了所有region的信息
(2)遍历所有的region,获得所有表信息
(3)通过ClusterStatus获得regionserver信息
(4)多线程连接每个regionserver,获得这个regionserver上面online的region信息。记录下region是在那个regionserver上面
(5)遍历hbase.rootdir,获得所有的table,多线程遍历各个table的目录,记录下region是在那个目录下面
(6)通过zk获得所有disabled的tables
(7)检查一致性,检查每一个region
正常的状态是:
【1】在META表中,hdfs上面有,表不是disabled的, region在某个regionserver的online region集合中,META表中记录的server信息和open了这个region的regionserver一致,并且没有被多个regionserver同时服务
【2】在META表中,region是split完的Parent region,没有被某个regionserver服务
【3】在META表中,表是disabled的,并且没有被某个regionserver服务
异常的状态是:
(7.1)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中,那么输出NOT_IN_META_HDFS错误信息
(7.2)如果一个region不在META表中,又不在regionserver的online region集合中,但是在hdfs上面,输出NOT_IN_META_OR_DEPLOYED错误信息
(7.3)如果一个region不在META表中,但是在hdfs上面有,并且在regionserver的online region集合中,那么输出NOT_IN_META错误信息
(7.4)如果一个region在META表中,但是在hdfs上面没有,并且也不在regionserver的online region集合中,那么输出NOT_IN_HDFS_OR_DEPLOYED错误信息
(7.5)如果一个region在META表中,并且在regionserver的online region集合中有,但是在hdfs上面没有,那么输出NOT_IN_HDFS错误信息
(7.6)如果一个region在META表中,在hdfs上面也有,但是不再online region集合中,并且这个region所在的table不是Disabled的,那么输出NOT_DEPLOYED错误信息。 可以修复
(7.7)如果一个region在META表中,在hdfs上面有,在online region集合中,如果这个region所在的table是Disabled的,那么输出SHOULD_NOT_BE_DEPLOYED错误信息。
(7.8)如果一个region在META表中,在hdfs上面有,但是被在多个regionserver的online region集合中,那么输出MULTI_DEPLOYED错误信息。可以修复
(7.9)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符,那么输出SERVER_DOES_NOT_MATCH_META错误信息。可以修复
(7.10)如果是其他情况,输出UNKNOWN
(8)检查完整性,以table为单位,遍历每个table
(8.1)table的第一个region的startKey必须是EMPTY_BYTE_ARRAY,否则输出FIRST_REGION_STARTKEY_NOT_EMPTY信息
(8.2)如果这个table有(startKey=endKey)的region,输出DEGENERATE_REGION信息
(8.3)如果两个region的区间有重叠,startKey相同输出DUPE_STARTKEYS信息,不相同输出OVERLAP_IN_REGION_CHAIN信息
(8.4)如果某个区间没有region,输出HOLE_IN_REGION_CHAIN信息(空洞)
(9)打印table的总结信息
hbck加上 -fix 可以自己修复下面三种情况:
(7.6)如果一个region在META表中,在hdfs上面也有,但是不再online region集合中,并且这个region所在的table不是Disabled的,那么输出NOT_DEPLOYED错误信息。
(7.8)如果一个region在META表中,在hdfs上面有,但是被在多个regionserver的online region集合中,那么输出MULTI_DEPLOYED错误信息。
(7.9)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符,那么输出SERVER_DOES_NOT_MATCH_META错误信息。
原先的hbck检测region的一致性和table的完整性,但是需要管理员自己修复,修复后,如果一致性和完整性没有问题,通过OfflineMetaRepair来构造新的META表
HBASE-5128 中的hbck能够检测region的一致性和table的完整性,并且可以修复完整性和一致性相关的问题
所以有了新版的hbck,这个github上面的脚本用途不是特别大
新版的hbck
新版本的 hbck 可以修复各种错误,修复选项是:
(1)-fix,向下兼容用,被-fixAssignments替代
(2)-fixAssignments,用于修复region assignments错误
(3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。
(4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题
(5)-fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region)
(6)-fixHdfsOverlaps,修复region overlaps(区间重叠)问题
(7)-fixVersionFile,修复缺失hbase.version文件的问题
(8)-maxMerge <n> (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。
(9)-sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region)
(10)-maxOverlapsToSideline <n> (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与
由于选项较多,所以有两个简写的选项
(11) -repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
(12)-repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
新版本的 hbck
(1)缺失hbase.version文件
加上选项 -fixVersionFile 解决
(2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中
加上选项 -fixAssignments 解决
(3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有
加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录)
(4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有
加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录)
(5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了
加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign
(6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务
加上选项 -fixMeta 解决,删除META表中的记录
(7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务
加上选项 -fixAssignments 解决,assign这个region
(8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了
加上选项 -fixAssignments 解决,undeploy这个region
(9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了
加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region
(10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符
加上选项 -fixAssignments 解决
(11)region holes
需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息
(12)region在hdfs上面没有.regioninfo文件
-fixHdfsOrphans 解决
(13)region overlaps
需要加上 -fixHdfsOverlaps
说明:
(1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
(2) -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题
(3)-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息
(4)-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair
发表评论
-
hbase flush前提: 等待相关事务都完成
2016-07-04 16:40 1061DefaultMemStore: @Override ... -
turn log on/off
2015-10-21 10:06 0wget -q "http://hostna ... -
hbase的一些语义
2014-06-04 16:39 1112hbase里面对一行操作前会加锁。 http://had ... -
Unexpected state导致HMaster abort
2014-01-09 11:44 2712线上和开发集群都遇到过master abort的情况,而且 ... -
hbase build Too many unapproved licenses
2013-12-30 16:02 2354[ERROR] Failed to execute ... -
hbase hbck 导致的multi assign
2013-12-25 18:03 1666http://hbase.apache.org/book. ... -
HBase Log Split 配置相关
2013-12-15 16:54 1566(1)HMaster SplitLogManager ... -
hbase jmx
2013-12-11 20:42 2939conf/hbase-env.sh 里面配了 JMX后就可 ... -
hbase bulk多family,锁住region
2013-10-29 15:14 1225HBase在bulk 多family的数据时,会获得整个r ... -
Phoneix
2013-10-22 11:42 1499https://github.com/forcedotco ... -
hbase RowCounter 使用
2013-10-15 16:48 5924hbase org.apache.hadoop.hb ... -
hbase add table
2013-09-26 21:49 1337把table数据从一个集群移动到另外一个集群 (1) ... -
hbase shell
2013-09-26 11:18 1663hbase shell 命令 mvn cle ... -
hbase snapshot
2013-06-06 16:40 2173Snapshot: (1) take a sn ... -
hbase split 导致compact abort的日志
2013-06-06 16:37 34732013-06-06 14:58:43,131 INF ... -
HBase maxIdleTime
2013-03-29 18:01 1674HBaseClient端会建立跟HRegionServer ... -
HBase Create Table
2013-01-10 15:50 2146基于HBase trunk代码http ... -
facebook hbase版本目前做的一些重要特性,提升性能
2012-11-22 19:36 2142(1)每个regionserver多个HLog,提升写。 社区 ... -
Server端处理时间很长,Client发生SocketTimeoutException
2012-11-22 11:37 33438Client端只有一个put请求,往server端写数据,se ... -
RPC HBaseServer
2012-11-12 20:28 1089HBaseServer: 一个请求发送的数据是:数据的长 ...
相关推荐
该文件为hbase hbck2 jar;适用于hbase 2.x维护,hbase 1.x不适用;对于HBase跨集群HD集群迁移,当HDFS文件迁移后,使用HBCK客户端,完成HBase元数据修复。当前版本:hbase-hbck2-1.3.0.jarhbase hbck -j /opt/...
hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz,hbase1版本的hbck已经不支持修复命令,hbase2.1版本需要用这个新版的工具
hbase hbck2 jar; 完整打包;...使用命令:hbase hbck -j hbase-hbck2-1.3.0-SNAPSHOT.jar fixMeta,最后两个参数分别代表 hbck2 jar包路径,维护命令(hbase-hbck2-1.3.0-SNAPSHOT.jar fixMeta)
hbase-hbck2-1.1.0-SNAPSHOT.jar
在HBase 2.x版本中,HBCK2(HBase FileSystem Check Tool 2)是一个重要的工具,用于检查和修复HBase表和Region的不一致性。HBCK2是HBase维护和故障排查的重要组成部分,尤其在处理数据丢失、Region分裂不正确或者元...
HBCK是HBase1.x中的命令,到了HBase2.x中,HBCK命令不适用,且它的写功能(-fix)已删除; HBCK2已经被剥离出HBase成为了一个单独的项目,如果你想要使用这个工具,需要根据自己HBase的版本,编译源码。其GitHub地址...