`
小网客
  • 浏览: 1247899 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hbase体系结构之一

 
阅读更多

Hbase为nosql,适用于Hbase的场景如下:

 

1.数据量大,千万级以上
2.对数据访问实时性要求没有RDBMS高,如离线运算为主

 

 Hbase的特点如下:

 

1 高可靠性
2 高效性
3 面向列
4 可伸缩
5 可在廉价PC Server搭建大规模结构化存储集群

 Hbase在Hadoop Ecosystem中的位置如下图:

访问HBase的接口:

 

Native Java API    最常规和高效 
HBase Shell      最简单接口 HBase管理使用
Thrift Gateway   利用Thrift序列化支持多种语言 
Rest Gateway    解除语言限制 Rest风格Http API访问
Pig         Pig Latin六十编程语言处理数据
Hive                       sql方式

 

 

 

HBase 数据模型:

 

 

row key                   Timestamp  Family:name	Family:age          
www.someabcd.com           date1      大杂烩	             1
                           date2      IT大杂烩	             1
                           date3      IT技术门户	     1
 

 

几个重要概念:

 

rowkey:
行key,为索引列,按此值字典顺序排序,因此在存储的时候要为访问做准备

Famliy:
列簇,一个table在水平方向有一个或者多个列簇,列簇可由任意多个Column组成,列簇支持动态扩展,无须预定义数量及类型,二进制存储,用户需自行进行类型转换

Timestamp:     
每次对数据操作对应的时间戳,也即数据的version number

 两张特殊的表:

 

.META.       记录用户表的Region信息,同时,.META.也可以有多个region
-ROOT-	   记录.META.表的Region信息,但是,-ROOT-只有一个region,在zookeeper上被感知

 Table和Region关系:

 

1. Table随着记录增多不断变大,会自动分裂成多份Splits,成为Regions
2. 一个region由[startkey,endkey)表示
3. 不同region会被Master分配给相应的RegionServer进行管理
备注:其对应关系在.META.上记录
  • 大小: 20.4 KB
0
0
分享到:
评论

相关推荐

    实验三:熟悉常用的HBase操作

    Hadoop版本至少需要2.7.1或更高,这是HBase运行的基础,因为HBase构建在Hadoop的HDFS之上,用于存储数据。HBase版本至少为1.1.2,它提供了一套强大的数据管理特性。JDK版本至少1.7,这是运行HBase和相关Java程序的...

    搭建HBase完全分布式数据库

    二、HBase体系结构: HBase由以下几个主要组件构成: 1. HMaster:负责管理用户对表的增删改查操作,管理HRegionServer的负载均衡,动态调整HRegion分布,负责HRegion的分配以及HRegionServer停机后的HRegion迁移。...

    大数据技术原理及应用课实验3 熟悉常用的HBase操作 林子雨实验

    1. **理解HBase在Hadoop体系结构中的角色**:HBase是Hadoop生态系统中的一个关键组件,它提供了对海量数据的高效存储和检索能力,特别适合于处理半结构化的数据,如日志、时间序列数据等。 2. **熟练使用HBase操作...

    hbase

    HBase则在HDFS之上提供了一个数据模型,使得非结构化和半结构化数据可以被高效地存储和查询。 HBase的体系架构主要包含以下组件: 1. **Master节点(HMaster)**:HMaster是HBase集群的管理节点,负责区域服务器的...

    Hadoop之Hbase从入门到精通

    HBase是一种分布式、高可靠性且高性能的列式存储系统,它基于Hadoop生态体系构建,并且能够支持大规模的数据存储需求。HBase的设计灵感来源于Google的Bigtable论文,通过模仿Bigtable的核心架构和技术特性,HBase...

    大数据实验三-HBase编程实践

    #### 一、HBase在Hadoop体系结构中的角色 HBase是一种分布式的、可扩展的大规模数据存储系统,它构建在Hadoop之上,特别是在Hadoop Distributed File System (HDFS)之上。HBase为结构化数据提供了一个高性能、可...

    分布式存储系统HBase关键技术研究.pdf

    HBase的体系结构可以分为三个部分:存储层、处理层和协同层。存储层是HBase的基础,使用HDFS来存储数据。处理层是HBase的处理引擎,使用MapReduce来处理数据。协同层是HBase的协同服务,使用Zookeeper来协调各个节点...

    HBase学习资料

    #### HDFS的体系结构 HDFS采用主从架构,主要包括两类节点:NameNode(目录节点)和DataNode(数据节点)。 - **NameNode**:负责管理和维护文件系统的命名空间,包括文件和目录的元数据、文件的存储位置信息以及...

    HBase.docx

    它是Apache软件基金会的顶级项目,是Hadoop生态系统的一部分,运行在Hadoop的HDFS之上,提供高可靠性和高性能的数据存储。 1. **HBase的特点** - 分布式:HBase能够自动将数据分片存储在集群的不同节点上,以实现...

    五分钟学大数据-HBase 知识体系吐血总结1

    HBase 是一个分布式、高性能、基于列式存储的 NoSQL 数据库,它是 Apache Hadoop 生态系统的一部分,专为处理海量结构化半结构化数据而设计。HBase 提供了实时读写能力,支持大数据量的存储和检索,尤其适用于实时...

    细细品味Hadoop_Hadoop集群(第11期)_HBase简介及安装.pdf

    #### 二、HBase体系结构 HBase 的体系结构主要包括以下几个组件: 1. **HBase Client**:客户端用于与 HBase 进行交互,包括读取和写入数据等操作。客户端通过 RPC(远程过程调用)机制与 HMaster 和 ...

    基于HBase的车联网传感数据管理系统设计.pdf

    HBase系统主要由HBase Master服务器和HRegion服务器群构成,采用主从服务器体系结构模型。HBase通过Zookeeper进行协调分配,以处理运行中的问题,并且其Master服务器不存储任何数据,所有数据存储都在HRegion服务器...

    实验9-HBase shell命令使用.pdf

    HBase在Hadoop体系结构中的主要特点和作用包括: 1. 高伸缩性:HBase设计之初就考虑到了线性可扩展性,可以在廉价硬件上水平扩展到数以千计的行。 2. 列式存储:HBase是一个列式数据库,与传统的行式数据库不同,...

    Hadoop+Hbase搭建云存储总结

    #### 二、Hadoop体系结构详解 **1. 名称节点(NameNode)与数据节点(DataNode)** - **名称节点:** 是Hadoop文件系统的中心节点,负责维护文件系统的命名空间及客户端对文件的访问。 - **功能:** 主要负责文件...

    Cloudera-HBase最佳实践及优化

    HBase的体系结构为HBase提供了高效的数据读写速度和容错特性,特别是对数据的某些子集可以进行有效地扫描。此外,HBase通过使用HDFS作为底层存储,能够利用Hadoop的压缩Codec来减少数据存储空间占用。HBase还具备...

    实验4熟悉常用的HBase操作.docx

    在 Hadoop 体系结构中,HBase 位于 HDFS 之上,提供了高效的数据存储和检索服务。 熟练使用 HBase 操作常用的 Shell 命令 HBase Shell 是 HBase 的命令行界面,用户可以通过 HBase Shell 来执行各种操作,例如列出...

    HBASE精炼版笔记v2.1.docx

    - 命名服务:提供统一的命名体系结构。 - 分布式锁:确保资源的独占访问。 - 数据发布/订阅:实现动态数据的发布与订阅。 #### Zookeeper整体运行机制 Zookeeper的核心是原子广播,它将数据更新以及连接状态的...

    Hbase分析报告白皮书

    这种设计简化了体系结构,确保所有元数据都在NameNode的控制之下,保证了数据的一致性。 Hadoop文件系统命名空间遵循传统的分层文件系统结构,允许用户创建目录和在目录内保存文件。虽然目前Hadoop不支持文件访问...

    HBase用户手册-v2.2.docx

    2.3 HBase的体系结构简介 HBase的架构包含Region Server、Master节点、Zookeeper和Region等核心组件。Region Server负责数据存储和处理,Master节点负责全局协调和管理Region分配,Zookeeper提供高可用性保障,...

Global site tag (gtag.js) - Google Analytics