`
jianzong2000
  • 浏览: 56060 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类
最新评论

一个region server的region个数问题

 
阅读更多

一个Region Server的region个数少点比较好,一般从20到几百个。0.90.x中upper-bound of regionsize是4GB,0.92.x中因为HFile v2,可以支持到更大,如20GB。一个Region Server保持较小的Region Server原因如下:

 

1MSLAB每个memstore需要2mb。如果有2 families1000 regions则需要3.9GB of heap

 

2、如果在region上写入的量差不多,region server整体的内存使用会导致tiny flush,然后会产生compactions。数据会被重写多次。

 

例如有1000regions,每个有一个family,内存总量为5GB。当内存使用到5GB时,大概会有5MB数据被flush

 

3master对于大量的regions比较过敏,会花费很多时间分配和移动regions。因为对zk的大量使用。

       4、在旧版本的HBase里面,大量的regions可能导致store file索引加大内存的使用量。

分享到:
评论

相关推荐

    remote-region eureka-server.rar

    总结来说,"remote-region eureka-server.rar"是一个关于在SpringCloud中配置和使用远程Eureka Server的实例,其目的是实现跨地区的服务发现,提高系统的可扩展性和可用性。通过配置Eureka Server和服务提供者的属性...

    全国城市 sqlserver版 在一个表中

    在SQL Server环境中创建并填充一个包含全国城市信息的表,涉及到多个步骤和概念,包括表结构设计、数据类型选择、主键定义、外键关系以及数据插入等。以下是对这些知识点的详细解析: ### 表结构设计 表结构是...

    SQL Server Selling Plan and 20-60 Program in North Region.pptx

    SQL Server Selling Plan and 20-60 Program in North Region.pptx

    HBase架构图

    3. **ZooKeeper**:ZooKeeper是一个分布式协调服务,HBase利用它来存储元数据信息,如Master Server的位置,Region Server的状态,以及Region的分配信息等。ZooKeeper确保了系统的高可用性和一致性。 4. **HDFS...

    第讲分布式开源数据库HBASE图文优秀文档.ppt

    Region是HBASE中分布式存储和负载均衡的最小单元,表在行方向上,按照照行键范围划分成若干的Region,每个表最初只有一个region,当记录数增加到超过某个阈值时,开始分裂成两个region。 HBASE是一个分布式的、面向...

    (源码)基于分布式数据库系统的分布式管理系统.zip

    本项目是一个基于分布式数据库系统的分布式管理系统,旨在构建一个大规模信息系统。系统由多个组件组成,包括Master节点、Region Server节点和客户端,通过ZooKeeper进行集群连接状态管理。系统支持Java和Python...

    hbase_常用配置参数_以及学习笔记讲解_以及各种原理图.zip

    每个表被划分为多个Region,每个Region由一个Region Server负责管理。Region是表的逻辑分区,随着数据增长,Region会自动分裂以保持性能。在Region内部,数据按行键排序,这样可以快速定位到特定的数据。 图片...

    zwc233#LargeScaleSystem#region_server通信格式1

    创建表​ Master 发送命令给 RegionServer​ @后面的ip为127.0.0.1 则表示暂时不创建副本create table [tableNa

    Springcloud中的region和zone的使用实例

    例如,我们可以在同一个 Region 中部署多个 Zone,每个 Zone 都可以部署一个或多个服务提供者。这样,当用户请求服务时,我们可以根据用户的地域位置和网络延迟来选择最合适的服务提供者。 下面是一个简单的示例...

    HBase Create Table

    - **Region Server**:Region是HBase数据存储的基本单元,每个Region由一个Region Server负责服务。创建表时,Region会分配到某个Region Server上。 4. **编程接口创建表** - **Java API**:通过HBase的Admin接口...

    HBase源码分析

    Region分裂是自动进行的,当一个Region的大小超过设定阈值时,Region Server会将该Region分裂成两个新的Region,然后更新Meta表记录新Region的信息。 总的来说,HBase的源码分析涉及到客户端与服务器的交互、RPC...

    hbase 相关的笔记

    6. **区域(Region)**:HBase将表分成多个区域,每个区域由一个Region Server管理,实现数据的分布式存储。随着数据增长,区域会自动分裂以保持负载均衡。 ### HBase的工作原理 1. **Region Server**:Region ...

    HBase课件汇总整本书电子教案全套课件完整版ppt教学教程.pptx

    Region Server 负责存储和处理数据,将大型表分成多个区域(Regions),每个 Region 由一个 Region Server 管理。Master Server 负责整个集群的元数据管理、Region 分配和 Region Server 监控。Zookeeper 在 HBase ...

    Hbase文档总结

    Zookeeper在HBase架构中起到关键作用,它保证任何时候都有一个运行中的Master,监控并管理Region Server的状态,同时存储HBase的Schema信息。 HBase Master可以有多个实例,通过Zookeeper的Master选举机制保证只有...

    region_3级.sql

    最新全国城市数据库 sql导入语句 Microsoft SQL Server格式,十分方便,下载建表, 无需修改

    Hbase分布式数据库 v2.4.16.zip

    HBase 是一个基于谷歌 Bigtable 模型设计的开源分布式数据库,属于 Apache Hadoop 生态系统的一部分。HBase 2.4.16 版本是其稳定版本,提供了高可靠性和高性能的数据存储解决方案,尤其适合处理大规模的非结构化数据...

    hbase-1.2.1

    HBase 1.2.1版本是在其早期版本的基础上进行优化和增强的,适用于Java Development Kit(JDK)1.8环境,同时与Hadoop 2.7.4和Zookeeper 3.4.1紧密协作,构建了一个高效、稳定的分布式存储系统。 1. HBase概述: ...

    hbase-1.3.1-bin.zip

    - 数据被分片到多个Region,每个Region由一个Region Server管理,Region可以动态分裂和合并。 3. **列族和行键** - HBase以行键(Row Key)为唯一标识,数据按行键排序存储。 - 数据按照列族(Column Family)...

    HBase实战源码

    2. **Region**:HBase的数据物理划分为多个Region,每个Region包含一个或多个Column Family。Region的大小可动态调整,随着数据增长而分裂。 3. **Column Family**:Column Family是逻辑上的数据集合,可以看作...

Global site tag (gtag.js) - Google Analytics