`

Hbase region切片 reqion切片合并操作

 
阅读更多

查看Hbase表分区情况

scan 'hbase:meta'

 t1,,1487821235337.353a385f28af52ed47e675f18242bbf8.       column=info:regioninfo, timestamp=1487821236518, value={ENCODED => 353a385f28af52ed47e675f18242bbf8, NAME => 't1,,1487821235337.353a385f28af52ed47e675f18242bbf8.', START
                                                           KEY => '', ENDKEY => ''}
 t1,,1487821235337.353a385f28af52ed47e675f18242bbf8.       column=info:seqnumDuringOpen, timestamp=1488359119701, value=\x00\x00\x00\x00\x00\x00\x00\x14
 t1,,1487821235337.353a385f28af52ed47e675f18242bbf8.       column=info:server, timestamp=1488359119701, value=centos2:16020
 t1,,1487821235337.353a385f28af52ed47e675f18242bbf8.       column=info:serverstartcode, timestamp=1488359119701, value=1488359111761

完整的region name 

t1,,1487821235337.353a385f28af52ed47e675f18242bbf8. 

表空间:表名, 开始rowId, 时间戳, hashcode(MD5)

 

region切片

语法

    split 'tableName'

    split 'namespace:tableName'

    split 'regionName' # format: 'tableName,startKey,id'

    split 'tableName', 'splitKey'

    split 'regionName', 'splitKey'

 

其中'splitKey'表示从哪一行开始切分

 

 

reqion切片合并

  hbase> merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME'

  hbase> merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME', true     //强制合并

其中'ENCODED_REGIONNAME'表示region Id中的hashcode,比如本文案例中的“353a385f28af52ed47e675f18242bbf8

 

注意: 只能合并startkey endkey 相邻的region,不相邻的只能强制合并

 

 

Hbase数据查询过程

1. 客户端首先连接zookeeper,查找表hbase:meta的位置。

2. 查询表hbase:meta, 根据每个region的start key 和 end key 找到特定的region,取得该region所在的server, 比如“column=info:server, timestamp=1488359119701, value=centos2:16020

3. 到指定的server找到该region。

4. hbase:meta表中的信息会被缓存起来,便于下次查找。

 

 

分享到:
评论

相关推荐

    HBASERegion数量增多问题描述及解决方案.docx

    【HBASERegion数量增多问题描述及解决方案】 在HBase分布式数据库中,Region是表数据的基本存储单元,它将表的数据按照ROWKEY的范围进行分割。随着数据的增长,一个Region会分裂成两个,以此来确保数据的均衡分布。...

    Hbase的region合并与拆分

    1、region 拆分机制 ...当region大小大于某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分,一个region等分为2个region。 但是在生产线上这种切分策略却有相当大的弊端:切分策略对于大表和小表没有

    HbaseTemplate 操作hbase

    总之,Spring Data Hadoop的HbaseTemplate为Java开发者提供了一种简洁且强大的方式来操作HBase,通过其丰富的API可以轻松实现各种HBase操作。在实际项目中,结合Spring的依赖注入和配置管理,能够有效地提升代码的可...

    Hbase 分区操作

    - **检测条件**:如果发现有相邻的小Region且满足合并条件(如Region大小低于最小阈值),则会触发合并操作。 - **提交合并请求**:由客户端或管理员发起合并请求,发送给主服务器。 - **规划合并**:主服务器检查...

    实验三:熟悉常用的HBase操作

    实验的目标是让你理解HBase在Hadoop架构中的地位,以及掌握通过Shell命令和Java API进行基本操作的方法。 首先,让我们来看看实验的平台配置。实验要求的操作系统是Linux,这通常是大数据处理的首选平台,因为它...

    HBase基本操作 Java代码

    HBase基本操作 增删改查 java代码 要使用须导入对应的jar包

    Hbase的安装过程及基本操作

    在本文中,我们将详细讲解Hbase的安装过程以及...同时,理解Hbase的核心概念,如Region、RegionServer、WAL和HFile,对于高效使用Hbase至关重要。在实践中不断学习和探索,你将能更好地驾驭这个强大的大数据存储工具。

    hbase-region-inspector, HBase区域统计信息的可视化仪表板.zip

    hbase-region-inspector, HBase区域统计信息的可视化仪表板 hbase-region-inspectorHBase区域统计信息的可视化仪表板。 用法下载与HBase集群版本匹配的可执行二进制插件,添加execute权限,并使用以下命令行参数启动...

    hbase的shell操作

    根据提供的文件信息,本文将详细介绍HBase的Shell操作及其应用场景,包括如何创建表、插入数据、查询数据等关键操作。 ### HBase Shell简介 HBase Shell是HBase提供的一种交互式命令行工具,用于执行HBase操作。它...

    基于HBase的海量GIS数据分布式处理实践.pdf

    本文主要介绍了基于HBase的海量GIS数据分布式处理实践。文章首先指出,随着大数据技术的蓬勃发展,利用大数据技术解决地理信息系统的海量数据管理问题已经成为一个重要的研究方向。作者提出了一种基于分布式数据库...

    java操作Hbase之从Hbase中读取数据写入hdfs中源码

    在Java编程环境中,操作HBase并将其数据写入HDFS(Hadoop Distributed File System)是一项常见的任务,特别是在大数据处理和分析的场景下。本篇将详细介绍如何使用Java API实现这一功能,以及涉及到的关键技术和...

    HBASE学习分享

    HBASE的主要原理解读:包括HBase 读写逻辑、HBase region拆分和合并

    scala API 操作hbase表

    在本文中,我们将深入探讨如何使用Scala API操作HBase数据库。HBase是一个分布式、面向列的NoSQL数据库,它构建于Hadoop之上,提供实时访问大量数据的能力。Scala是一种强大的函数式编程语言,与Java虚拟机(JVM)...

    基于数据冗余的HBase合并机制研究_熊安萍

    基于数据冗余的HBase合并机制研究_HBase列式数据库的所有操作均以追加数据的方式写入,导致其合并机制占用资源过多,影响系统读性能。

    大数据技术原理及应用课实验3 熟悉常用的HBase操作 林子雨实验

    【大数据技术原理及应用实验3:熟悉常用的HBase操作】 HBase是一种分布式、列式存储的NoSQL数据库,它是构建在Hadoop文件系统(HDFS)之上的,用于处理大规模数据集的应用。在Hadoop生态体系中,HBase提供实时读写...

    hbase-packet-inspector:分析HBase RegionServers的网络流量

    hbase-packet-inspector hbase-packet-inspector (HPI)是用于分析HBase RegionServers网络流量的命令行工具。 HPI读取tcpdump文件或捕获网络接口的实时数据包流,以提取有关客户端请求和响应的信息。 您可以对其...

    HBaseRegion自动切分的所有细节都在这里了

    在HBase中,Region自动切分是其可扩展性的重要机制,它确保了系统的水平扩展性和数据分布的均匀性。Region切分的关键在于如何高效、平衡地管理数据,避免单个Region过大导致性能下降,同时也要防止过度切分造成资源...

    HBase官方文档中文版-HBase手册中文版

    2. Master节点:管理Region服务器,处理表和Region的分配,监控服务器健康状态,进行Region分裂和合并操作。 3. ZooKeeper:协调HBase集群,提供服务发现、元数据存储等关键功能。 4. 表和Region:表可以被分割成多...

    Hbase 安装与基本使用

    1. **Region管理**:Region是HBase的基本存储单元,可以通过shell命令进行分裂、合并等操作。 2. **表的启停**:使用`disable '表名'`禁用表,`enable '表名'`启用表。 3. **性能调优**:包括调整region大小、选择...

    hbase regions数据切割.docx

    在HBase这个分布式列式数据库中,Region是其核心的数据存储和管理单元,它负责存储表中的行数据。随着数据量的增长,一个Region可能会变得过大,导致读写性能下降。这时,就需要对Region进行数据切割(Split),以...

Global site tag (gtag.js) - Google Analytics