`
shuofenglxy
  • 浏览: 194677 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HBase 修复region

 
阅读更多

定位线上问题发现HBase 60020端口响应总是超时。但线上服务器发现该region-server均正常。

 

通过 hbase hbck  发现该表虽然region 都在线,但是有几个region 有 hole。通过bin/hbase hbck -fix 定位修复。

 

 

在修复region后先关的聚类运算和关联的数据接入等任务都进行了重启和确认。 最终建模结果正常。

 

 

其他命令可以参见:http://my.oschina.net/beiyou/blog/76456

分享到:
评论

相关推荐

    hbase-meta-repair-hbase-2.0.2.jar

    HBase 元数据修复工具包。 ①修改 jar 包中的application.properties,重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项,hdfs 最好写 ip; ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/...

    hbase2.x-hbck2 jar包及测试命令

    在HBase 2.x版本中,HBCK2(HBase FileSystem Check Tool 2)是一个重要的工具,用于检查和修复HBase表和Region的不一致性。HBCK2是HBase维护和故障排查的重要组成部分,尤其在处理数据丢失、Region分裂不正确或者元...

    hbase2.5.6最新版本下载

    4. 可扩展性:HBase通过Region Server进行水平扩展,可以轻松应对PB级别的数据。 二、HBase核心组件 1. ZooKeeper:HBase依赖ZooKeeper进行元数据管理,协调各个节点间的通信,确保系统的高可用性和一致性。 2. ...

    眼见不一定为实:调用链HBase倾斜修复.doc

    《眼见不一定为实:调用链HBase倾斜修复》 在IT领域,尤其是在大数据存储和分布式系统中,我们经常会遇到各种挑战,其中之一就是数据倾斜问题。调用链HBase倾斜修复便是这样一种棘手的问题,它涉及到全链路追踪技术...

    hbase安装,节点添加,移除,常见问题解决

    2. 移除节点:在HBase的`regionservers`文件中移除节点的主机名,然后停止该节点上的HBase服务。HBase会自动重新平衡负载到其他节点。 在运行过程中,可能会遇到各种问题,这里列举一些常见的异常处理方法: 1. **...

    hbase-1.2.5-src.tar.gz

    HBase通过Region Server实现水平扩展。Region是表的逻辑分区,RegionServer负责管理这些Region。随着数据增长,Region会自动分裂以保持性能。同时,HBase使用Zookeeper进行协调,确保集群中的节点状态同步,以及在...

    hbase-2.0.0.3.0.0.0-1634-bin.tar.gz

    2. Region管理:HBase的Region是数据分区的基本单位,你可以通过Ambari监控Region分布,进行手动Split或Merge操作。 3. 性能调优:通过调整HBase的配置参数,如MemStore大小、BlockCache设置等,可以优化读写性能。...

    hbase-operator-tools-master.zip

    5. **修复功能**:除了检测问题,hbck2还提供了修复功能,如重新分配丢失的Region、合并不连续的Region、删除多余的Region副本等。 6. **命令行选项和报告**:hbck2支持多种命令行选项,允许用户根据需要定制检查...

    hbase-0.98.24

    2. 分区和 Region Server:HBase将表分割成多个Region,每个Region由一个Region Server管理。Region是表的逻辑分片,随着数据量的增长,Region会自动分裂,以确保性能和可扩展性。 3. 列族(Column Family):列族...

    hbase-hbck2-1.0.0.jar

    Hbase修复工具 示例情景: Q:缺失hbase.version文件 A:加上选项 -fixVersionFile 解决 Q:如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中 A:加上选项 -...

    Ruby脚本hackery手动修复损坏的hbase_Ruby_下载.zip

    HBase是基于行的分布式存储系统,它将数据存储在表中,这些表被分割成多个Region,每个Region由一个Region Server管理。数据以Key-Value的形式存储,并且可以按照指定的列族和列进行查询。如果HBase的数据文件或元...

    hbase-2.2.5-bin.tar.gz

    在使用HBase-2.2.5时,用户可以根据自己的需求进行配置,如调整Region大小、设置缓存策略等,以达到最佳性能。同时,通过与其他大数据组件(如Hadoop、Spark)集成,可以构建更复杂的数据处理和分析平台。无论是开发...

    hbase-1.3.6-src.tar.gz

    - Region服务器:HBase将数据分片为多个Region,并将其分配到各个Region服务器上,负责数据的读写操作。 - Master节点:协调Region的分配和平衡,管理Region服务器,处理元数据更改等任务。 - ZooKeeper:提供...

    hbase-0.96 jar包

    6. **Region Server**:HBase将表分割为多个Region,并将这些Region分配到不同的Region Server上,通过Region的分裂和合并来实现动态负载均衡。 7. **ZooKeeper**:HBase依赖ZooKeeper进行元数据管理、协调和故障...

    HBase2.x之RIT问题解决.docx

    HBase 2.x中的Region-In-Transition(RIT)机制是一种Region状态变迁机制,例如merge、split、assign、unassign等操作。在RIT过程中,可能会出现异常情况,从而导致Region的状态一直保持在RIT,使得HBase出现异常。 ...

    hbase-1.3.5-bin.tar.gz

    除了对Hadoop 3.0的支持,HBase 1.3.5可能还包含了一些其他的新特性、性能优化和bug修复。例如,可能会有新的API或者命令行工具来简化操作,或者在处理大规模并发读写时的性能提升。这些改进通常会提高用户体验,...

    hbase-1.3.6-bin.tar.gz

    2. **conf**:默认的配置文件,如hbase-site.xml用于配置HBase集群,regionservers指定哪些节点是RegionServer。 3. **lib**:包含HBase运行所需的JAR文件,包括HBase自身、Hadoop依赖以及其他依赖库。 4. **docs**...

    hbase-1.1.5

    2. **稳定性提升**:修复了大量已知问题,增强了系统的稳定性和容错性,降低了服务中断的风险。 3. **新功能添加**:提供了更多的API和工具,如改进的Compaction策略,以及对用户友好的监控和管理界面。 三、HBase...

    藏经阁-网易HBase实践.pdf

    HBCK可以检查HBase Region的一致性、表完整性等问题,并提供相应的修复命令。HBCK的常用检查命令包括hbck、hbck –details等。HBCK也提供了局部低危修复和高危修复两种修复方式,局部低危修复用于修复一些轻微的问题...

Global site tag (gtag.js) - Google Analytics