`
bit1129
  • 浏览: 1069662 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【HBase三】HBase物理模型

 
阅读更多

HBase物理存储

  • Table中的所有行都按照row key的字典序排列



 

  • Table 在行的方向上分割为多个Region(意思是一个Region多个行)



 

  • Region按大小分割的(按照rowkey进行划分),每个表开始只有一个region,随着数据增多,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region,之后会有越来越多的region(这类似于MongoDB的chunk分裂)

 

 

  • Region是HBase中分布式存储和负载均衡的最小单元。不同Region分布到不同RegionServer上。负载均衡指的是如果有的Region Server上有的Region多,而有的Region少,那么会进行负载均衡,

 

Region的概念是逻辑的么?

如果Region是对行的逻辑划分(即Region只是描述了行的一些基本信息,不会存储行的物理数据),那么Region Servers上只是Region的一些元数据信息。如果Region一些行的物理存储,那么Region Servers上会存储Region包含的数据行么?

 

 

  • Region虽然是分布式存储的最小单元,但并不是存储的最小单元

        1. Region由一个或者多个Store组成,每个store保存一个columns family(Store是按列存储,因此说,HBase是按列存储)

        2. 每个Strore又由一个memStore和0至多个StoreFile组成

        3. memStore存储在内存中,StoreFile存储在HDFS上

        4. 数据首先写到memStore中,当memStore达到一定的数据量时,数据将flush到StoreFile中,StoreFile是保存在HDFS中的


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 大小: 35.1 KB
  • 大小: 34.3 KB
  • 大小: 96.4 KB
  • 大小: 61.4 KB
  • 大小: 412.7 KB
分享到:
评论

相关推荐

    Hbase思维导图之物理模型.png

    Hbase思维导图之物理模型

    Hbase基本知识介绍

    本文将详细介绍HBase的物理模型和逻辑模型。 #### 二、HBase的逻辑视图 在讨论HBase的数据模型时,通常会从逻辑视图的角度来理解其如何组织和存储数据。下面将详细介绍HBase的逻辑视图中的关键概念: 1. **表...

    HBase官方文档中文版-HBase手册中文版

    三、HBase架构 1. Region服务器:存储HBase表的分区,负责处理表的读写请求。 2. Master节点:管理Region服务器,处理表和Region的分配,监控服务器健康状态,进行Region分裂和合并操作。 3. ZooKeeper:协调HBase...

    HBase官方指南——数据模型篇

    HBase的数据模型是其核心特性之一,它具有一些独特之处,这使得它在处理大量数据时,有着出色的表现。 HBase的数据模型包含以下几个核心概念: 1. 行(Row) HBase中的表是由行组成,每行都有一个唯一的行键(Row ...

    大数据开发之Hbase基本使用及存储设计实战教程(视频+笔记+代码)

    ├─01_讲义 │ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 ...│ Day1511_Hbase的物理模型.mp4 │ Day1512_Hbase的存储模型.mp4

    HBase数据及物理模型架构及工作原理

    本文来自于csdn,主要为对HBase简介,HBase数据模型及物理模型,HBase架构及工作原理。HBase是一个构建在HDFS之上的,分布式的、面向列的开源数据库HBase是GoogleBigTable的开源实现,它主要用于存储海量数据个人...

    HBase官方文档

    HBase的数据模型主要包括概念视图、物理视图、表、行、列族、Cells等。HBase采用的是列族式存储模型,每个表由一个或多个列族组成,表中的数据都是以行的形式存储的。列族下面可以存储多个列。Cells是HBase数据存储...

    Hbase 的shell基本操作

    HBase采用了Google的Bigtable数据模型,底层物理存储采用了列存储的方式,是一种适用于大数据存储和处理的数据库。 在HBase中,可以通过shell命令行进行各种操作,如表的创建、数据的插入和查询等。下面是基于标题...

    HBase数据库设计.doc

    【HBase数据库设计】 HBase是一种基于列存储的分布式数据库,它是Apache Hadoop生态系统的一部分,设计用于处理海量数据。...在设计HBase数据库时,应充分考虑数据模型、行键策略以及集群的扩展性需求。

    Hbase学习分享资料

    本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Shell访问等。

    phoenix-hbase-2.4-5.1.2

    HBase的数据模型是列族(Column Family)型,允许用户动态地添加列,并且具有强大的时间戳支持,能轻松处理历史数据。在2.4版本中,HBase优化了Region Splitting策略,提升了数据分布的均匀性,同时增强了对高并发...

    Hbase

    HBase 的数据模型基于行、列族和时间戳。每个单元格(Cell)由行键(Row Key)、列族(Column Family)、列限定符(Column Qualifier)和时间戳四部分组成。行键是唯一的,决定了数据在 Region 内的物理存储位置;列...

    apache hbase reference guide pdf

    HBase的数据模型章节讨论了HBase的数据组织方式,包括概念视图和物理视图。这一部分强调了HBase的三大核心组件:命名空间(Namespace)、表(Table)和列族(ColumnFamily)。它会详细解释HBase中的行(Row)、...

    hbase-1.0.3-bin.tar

    HBase的数据模型由表(Table)、行(Row)、列族(Column Family)和列(Column)组成。每个表由行键(Row Key)唯一标识,行键决定了数据的物理存储位置。列族是逻辑上的数据分组,列族内可以有任意数量的列,列的...

    apache_hbase_reference_guide(官网).pdf

    - **HBase的数据模型**包括行(Row)、列族(Column Family)、单元格(Cell)和版本(Version)。 - **HBase的存储结构**,分为概念视图和物理视图。概念视图指的是表、行、列族的逻辑结构;物理视图则描述了数据在...

    HbaseReferenceBook-Hbase参考指南英文版

    HBase的设计也涉及到数据的物理存储和内存管理,以及如何通过RegionServer和MasterServer来维护数据的水平扩展性和高可用性。 4. HBase的安全性(Security):为了确保存储在HBase中的数据安全,HBase支持多种安全...

    大数据云计算技术系列 Hadoop之Hbase从入门到精通(共243页).pdf

    HBase的数据模型是其核心特性之一。每个表由多个行(Row)组成,行由行键(Row Key)唯一标识。表格被划分为多个列族(Column Family),列族内包含一系列列(Column),每个列由列限定符(Column Qualifier)定义。...

    Hbase 官方中文文档

    HBase官方中文文档概述了Apache HBase TM的基本概念、配置方法、升级策略、shell使用、数据模型、架构设计、安全机制、API接口、性能调优以及故障排除等多方面的知识。HBase是一个开源的非关系型分布式数据库(NoSQL...

    hbase介绍以及详细讲解

    HBase的数据模型由三个基本元素构成:行键(Row Key)、时间戳(Timestamp)和列(Column)。行键是表中的唯一标识,通常用于确定数据的存储位置。时间戳与每次数据更改相关联,它允许存储多个版本的数据。列由列族...

    hbase

    HBase则在HDFS之上提供了一个数据模型,使得非结构化和半结构化数据可以被高效地存储和查询。 HBase的体系架构主要包含以下组件: 1. **Master节点(HMaster)**:HMaster是HBase集群的管理节点,负责区域服务器的...

Global site tag (gtag.js) - Google Analytics