相信每一个维护hbase集群的运维人员一定碰到过disable失败,陷入无穷的"Region has been PENDING_CLOSE for too long..."状态,此时没有什么好的办法处理。经常需要重启集群。
这个问题产生的原因非常讨厌,经过一段时间的分析和验证,得到了根本原因。要理解它,必须从disable的原理说起:
- disable线程是一个DisableTableHandler类,我们看它的handleDisableTable()方法,在while循环中先获取table的regions列表,然后调用BulkDisabler的bulkAssign()方法,等待bulkAssign()返回为true时则结束
- 在bulkAssign()方法中启动线程池,然后等待线程池超时,超时时间由hbase.bulk.assignment.waiton.empty.rit控制
- 在每个线程中,先从regions collection中得到regions列表,然后通知rs来处理该region,并且把该region放入RIT列表中,表示该region正在进行处理
- rs处理完region以后,将该region状态在zk上置为closing,此时master得到通知
- master将这个region从RIT列表中删除,并从regions列表中删除。
注意以上最后一步,当master把它从RIT中删除以后,还有短暂的时间这个region还在regions列表中,此时另一个线程拿到了这个region,并且此时这个region不处于RIT状态保护,于是另一个线程开始重复以上过程,而前一个线程己经把它从collection中删除了,于是后一个线程再也无法完成closing事件。直到RIT超时(默认30秒)。
于是有两个修改办法:
1 缩短hbase.bulk.assignment.waiton.empty.rit这个时间(默认10分钟,it's too long...),让它重新进行一轮disable,此时会先把RIT的region都处理掉再继续,这样多几次尝试总会成功的。
2 修改代码:(
https://issues.apache.org/jira/secure/attachment/12487669/HBASE-4064_branch90V2.patch)
Index: src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java
===================================================================
--- src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java (revision 1150529)
+++ src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java (working copy)
@@ -767,14 +767,15 @@
* @param regionInfo
*/
public void regionOffline(final HRegionInfo regionInfo) {
+ // remove the region plan as well just in case.
+ clearRegionPlan(regionInfo);
+ setOffline(regionInfo);
+
synchronized(this.regionsInTransition) {
if (this.regionsInTransition.remove(regionInfo.getEncodedName()) != null) {
this.regionsInTransition.notifyAll();
}
}
- // remove the region plan as well just in case.
- clearRegionPlan(regionInfo);
- setOffline(regionInfo);
}
即在以上步骤5时,先从regions列表中删除,再清除它的RIT状态。
方法2己经测试成功,方法1更简单,各位被这个问题困扰的同学可以一试。
- 大小: 99.1 KB
分享到:
相关推荐
ALTER TABLE dept DISABLE CONSTRAINT pk_dept; ``` 删除约束可以使用ALTER TABLE语句,例如: ```sql ALTER TABLE dept DROP CONSTRAINT pk_dept; ``` 异常处理 在约束操作中可能会出现一些异常,例如数据违反约束...
- **使约束失效或生效**:`ALTER TABLE table_name MODIFY CONSTRAINT constraint_name DISABLE|ENABLE;` - **更改表名**:`ALTER TABLE old_table_name RENAME TO new_table_name;` - **删除表**:`DROP TABLE ...
ALTER TABLE 表名 DISABLE CONSTRAINT 外键名; -- 进行数据导入 ALTER TABLE 表名 ENABLE CONSTRAINT 外键名; ``` 确保在数据导入完成后,所有引用关系都已正确建立,否则可能引发其他问题。 以上就是Oracle数据库...
- **用途**:在执行一系列SQL语句时,确保这些操作作为一个整体执行,要么全部成功,要么全部失败。 - **语法**:`BEGIN TRANSACTION [ transaction_name ]` - `transaction_name`:事务的名称(可选)。 - **示例*...
- **高可用性和容错性**:HBase具有自动的故障恢复机制,可以在节点失败时继续提供服务。 - **实时读写**:HBase支持快速的数据读取和写入操作,这对于需要实时响应的应用场景非常有用。 #### 二、HBase的Shell...
它为企业提供了一种自动化处理数据库任务的高效方式,减轻了DBA的工作负担,并确保任务的及时性和准确性。 通过理解并熟练掌握Oracle Job,你可以更好地管理和优化数据库系统的日常运营,提高工作效率,确保数据库...
arp 查看和处理ARP缓存,ARP是名字解析的意思,负责把一个IP解析成一个物理性的MAC地址。arp -a将显示出全部信息 start 程序名或命令 /max 或/min 新开一个新窗口并最大化(最小化)运行某程序或命令 mem 查看cpu...
- **登录失败尝试次数**:同样地,可以设置`FAILED_LOGIN_ATTEMPTS`为无限次,以避免因误操作而导致的账户锁定。 - **解决空表无法导出的问题**:通过禁用`deferred_segment_creation`,可以在创建空表时立即分配...
首先,Properties方法的优势在于它可以替代效率较低且可能失败的SSDT(System Service Description Table)注入方法,具有更高的优先级。例如,对于显卡补丁,可以参考《Properties-显卡补丁一览表》,而对于PCI设备...
6. **启用/禁用触发器**:通过`ENABLE TRIGGER`和`DISABLE TRIGGER`来控制触发器的活动状态。 7. **更改排序规则(Collation)**:使用`COLLATE`关键字可以更改列的排序规则。 在执行这些操作时,需要注意以下几点...
- **错误处理**: 如果CRC校验失败,AIS可以定义相应的错误处理流程,如图11所示。 - **图11: Handling CRC Error** #### 5. AIS gen: 用于生成Boot Script (AIS Image) 的工具 AIS gen是一款图形界面工具,用于辅助...
MsgBox(0,"ShowMe","处理文件失败,请查看问题所在。") ExitLoop EndIf Wend FileClose($file) EndIf WEnd ; 关闭搜索句柄 FileClose($search) Case $...
说明: 确定查询是否获取表级的读取锁, 以防止在包含该查询的事务处理被提交之前更新任何对象读取。这种操作模式提供可重复的读取, 并确保在同一事务处理种对相同数据的两次查询看到的是相同的值。 值范围: TRUE | ...
16. **invalidate(field)**: 使字段无效,通常用于验证失败时。 17. **invalidFields([data])**: 获取无效的字段列表。 18. **isForeignKey(field)**: 判断字段是否为外键。 19. **isUnique(fields,[or])**: 检查...