`
leongfans
  • 浏览: 86303 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

修复hbase region hole(region空洞,两个region rowkey不连续)问题流程

阅读更多

原文链接:http://blog.csdn.net/a221133/article/details/7085257

 

修复hbase region hole问题流程
1,查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失,考虑其他办法,
   首先考虑用major_compact对该表进行更新看是否会检测到问题并修复,major_compact完成之后未成功
   
2,重新起动hbase集群,是否会进行闭环检测?未成功,但是0.90.4将会带有检测并修复功能


3,考虑通过修改.meta.表,将非闭环改成闭环,测试机一直再用没检测,直接用hbase shell修改.meta.表是不成功的,可以考虑程序,另有metaedit api提供调用


4,使用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix修复工具进行修复,未成功,
   原因是这两个都是通过.regioninfo来重新映射到.meta.表,但是我们的文件本身就是非闭环的所以修复失败
   
5,考虑使用merge将非闭环合并,命令(该命令要关闭hbase集群执行):
hbase org.apache.hadoop.hbase.util.Merge 
Usage: bin/hbase merge <table-name> <region-1> <region-2> 
完成之后成功,
使用hbase hbck检测:
wb_xxx_xxx_xxx is okay.
Number of regions: 2988
0 inconsistencies detected.
Status: OK

wb_xxx_xxx_xxx表修复成功,集群内不再存在hole region

分享到:
评论

相关推荐

    HBASERegion数量增多问题描述及解决方案.docx

    随着数据的增长,一个Region会分裂成两个,以此来确保数据的均衡分布。然而,当Region数量过多时,系统性能会受到严重影响。本文主要探讨了Region数量增多带来的问题及其解决方案。 1. 问题描述 1.1 HBase分区概念...

    hbase的Rowkey设计方案.pdf

    在HBase中,MemStore和BlockCache是两个关键的缓存机制。MemStore用于列族/Store级别的写入缓存,而BlockCache则服务于RegionServer级别的读取缓存。Rowkey长度的控制尤为重要,过长的Rowkey会导致缓存中数据密度...

    rowkey设计案例.zip

    在大数据处理领域,HBase和Spark是两个非常重要的组件。HBase是一个分布式、高性能的NoSQL数据库,适合存储海量结构化半结构化数据,而Spark则是一个强大的计算框架,擅长处理大规模数据集,尤其在实时分析和交互式...

    hbase的rowkey设计与hbase的协处理器运用.docx

    HBase RowKey 设计与协处理器运用 HBase 是一个基于 HDFS 的分布式、面向列的 NoSQL 数据库,具有高性能、可靠性和扩展性等特点。... RowKey 设计和协处理器运用是 HBase 中两个非常重要的概念,需要细心设计和实施。

    HBASE调优 rowkey

    HBase是Apache软件基金会的Hadoop项目中的一个子项目,它是一个开源的非关系型分布式数据库(NoSQL),是Google Bigtable的开源实现。HBase特别适合于存储大量的稀疏数据,其设计目标是提供水平可扩展的数据存储能力...

    HBase-RowKey与索引设计(高清)

    每个Region对应一个表的某个连续RowKey区间。读写数据时,首先根据RowKey定位到具体的Region,然后通过RegionServer来执行相应的操作。设计良好的RowKey可以优化数据的读写性能,特别是在高并发访问的场景下,有助于...

    Hbase的region合并与拆分

    1、region 拆分机制 ...当region大小大于某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分,一个region等分为2个region。 但是在生产线上这种切分策略却有相当大的弊端:切分策略对于大表和小表没有

    Hbase 组件 、架构

    HBase中的Region分割(Region Split)是一个关键特性,它允许HBase在表数据量增大时,自动将一个Region分割成两个,从而保证每个Region的大小都保持在一个合理的范围。这是实现HBase高扩展性和高性能的关键机制之一...

    hbase-meta-repair-hbase-2.0.2.jar

    HBase 元数据修复工具包。 ①修改 jar 包中的application.properties,重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项,hdfs 最好写 ip; ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/...

    HBase二级索引

    其中,DataTable Region StartKey 是 IndexTable RowKey 的第一部分,主要基于两个方面的考虑:一是使得 IndexTable Region 和对应的 DataTable Region 拥有相同的 StartKey,这样便可将 StartKey 作为两个 Region ...

    hbase2.x-hbck2 jar包及测试命令

    在HBase 2.x版本中,HBCK2(HBase FileSystem Check Tool 2)是一个重要的工具,用于检查和修复HBase表和Region的不一致性。HBCK2是HBase维护和故障排查的重要组成部分,尤其在处理数据丢失、Region分裂不正确或者元...

    hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz

    hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz,hbase1版本的hbck已经不支持修复命令,hbase2.1版本需要用这个新版的工具

    眼见不一定为实:调用链HBase倾斜修复.doc

    《眼见不一定为实:调用链HBase倾斜修复》 在IT领域,尤其是在大数据存储和分布式系统中,我们经常会遇到各种挑战,其中之一就是数据倾斜问题。调用链HBase倾斜修复便是这样一种棘手的问题,它涉及到全链路追踪技术...

    hbase原理和设计

    每个Region包含一个或多个连续的RowKey范围。 3. **Cell**:存储单元(Cell)是HBase中最基本的数据单元,包含(rowkey, column, version)三个属性。 4. **Compaction**:当StoreFile的数量达到一定的阈值时,系统会...

    HBase源码分析

    Region分裂是自动进行的,当一个Region的大小超过设定阈值时,Region Server会将该Region分裂成两个新的Region,然后更新Meta表记录新Region的信息。 总的来说,HBase的源码分析涉及到客户端与服务器的交互、RPC...

    region按大小分割

    3. Region的扩展和分割:随着数据的不断增多,一个Region的大小会逐渐增加,当达到一定的阈值(阀值)时,系统会自动将这个Region等分成两个新的Region。这个过程称为Region的分割(Splitting)。 4. Region分割的...

    hbase-region-inspector, HBase区域统计信息的可视化仪表板.zip

    hbase-region-inspector, HBase区域统计信息的可视化仪表板 hbase-region-inspectorHBase区域统计信息的可视化仪表板。 用法下载与HBase集群版本匹配的可执行二进制插件,添加execute权限,并使用以下命令行参数启动...

    java大数据作业_3HBase

    6. **创建新Region**:原始Region被分裂成两个新的Region,各自继承原Region的一部分数据。 7. **更新元数据**:新的Region信息被更新到HMaster和Zookeeper中。 8. **负载均衡**:HMaster负责将新的Region分配给合适...

    hbase2修复工具jar包,用于hbase的rit等修复服务

    hbase2修复工具jar包,用于hbase的rit等修复服务

Global site tag (gtag.js) - Google Analytics