Hbase为nosql,适用于Hbase的场景如下:
1.数据量大,千万级以上
2.对数据访问实时性要求没有RDBMS高,如离线运算为主
Hbase的特点如下:
1 高可靠性
2 高效性
3 面向列
4 可伸缩
5 可在廉价PC Server搭建大规模结构化存储集群
Hbase在Hadoop Ecosystem中的位置如下图:
![](http://dl.iteye.com/upload/attachment/0074/3688/6863467f-bec4-3538-908b-aff41c39373f.jpg)
访问HBase的接口:
Native Java API 最常规和高效
HBase Shell 最简单接口 HBase管理使用
Thrift Gateway 利用Thrift序列化支持多种语言
Rest Gateway 解除语言限制 Rest风格Http API访问
Pig Pig Latin六十编程语言处理数据
Hive sql方式
HBase 数据模型:
row key Timestamp Family:name Family:age
www.someabcd.com date1 大杂烩 1
date2 IT大杂烩 1
date3 IT技术门户 1
几个重要概念:
rowkey:
行key,为索引列,按此值字典顺序排序,因此在存储的时候要为访问做准备
Famliy:
列簇,一个table在水平方向有一个或者多个列簇,列簇可由任意多个Column组成,列簇支持动态扩展,无须预定义数量及类型,二进制存储,用户需自行进行类型转换
Timestamp:
每次对数据操作对应的时间戳,也即数据的version number
两张特殊的表:
.META. 记录用户表的Region信息,同时,.META.也可以有多个region
-ROOT- 记录.META.表的Region信息,但是,-ROOT-只有一个region,在zookeeper上被感知
Table和Region关系:
1. Table随着记录增多不断变大,会自动分裂成多份Splits,成为Regions
2. 一个region由[startkey,endkey)表示
3. 不同region会被Master分配给相应的RegionServer进行管理
备注:其对应关系在.META.上记录
![点击查看原始大小图片](http://dl2.iteye.com/upload/attachment/0074/3688/6863467f-bec4-3538-908b-aff41c39373f-thumb.jpg)
- 大小: 20.4 KB
分享到:
相关推荐
Hadoop版本至少需要2.7.1或更高,这是HBase运行的基础,因为HBase构建在Hadoop的HDFS之上,用于存储数据。HBase版本至少为1.1.2,它提供了一套强大的数据管理特性。JDK版本至少1.7,这是运行HBase和相关Java程序的...
二、HBase体系结构: HBase由以下几个主要组件构成: 1. HMaster:负责管理用户对表的增删改查操作,管理HRegionServer的负载均衡,动态调整HRegion分布,负责HRegion的分配以及HRegionServer停机后的HRegion迁移。...
1. **理解HBase在Hadoop体系结构中的角色**:HBase是Hadoop生态系统中的一个关键组件,它提供了对海量数据的高效存储和检索能力,特别适合于处理半结构化的数据,如日志、时间序列数据等。 2. **熟练使用HBase操作...
HBase则在HDFS之上提供了一个数据模型,使得非结构化和半结构化数据可以被高效地存储和查询。 HBase的体系架构主要包含以下组件: 1. **Master节点(HMaster)**:HMaster是HBase集群的管理节点,负责区域服务器的...
HBase是一种分布式、高可靠性且高性能的列式存储系统,它基于Hadoop生态体系构建,并且能够支持大规模的数据存储需求。HBase的设计灵感来源于Google的Bigtable论文,通过模仿Bigtable的核心架构和技术特性,HBase...
#### 一、HBase在Hadoop体系结构中的角色 HBase是一种分布式的、可扩展的大规模数据存储系统,它构建在Hadoop之上,特别是在Hadoop Distributed File System (HDFS)之上。HBase为结构化数据提供了一个高性能、可...
HBase的体系结构可以分为三个部分:存储层、处理层和协同层。存储层是HBase的基础,使用HDFS来存储数据。处理层是HBase的处理引擎,使用MapReduce来处理数据。协同层是HBase的协同服务,使用Zookeeper来协调各个节点...
#### HDFS的体系结构 HDFS采用主从架构,主要包括两类节点:NameNode(目录节点)和DataNode(数据节点)。 - **NameNode**:负责管理和维护文件系统的命名空间,包括文件和目录的元数据、文件的存储位置信息以及...
它是Apache软件基金会的顶级项目,是Hadoop生态系统的一部分,运行在Hadoop的HDFS之上,提供高可靠性和高性能的数据存储。 1. **HBase的特点** - 分布式:HBase能够自动将数据分片存储在集群的不同节点上,以实现...
HBase 是一个分布式、高性能、基于列式存储的 NoSQL 数据库,它是 Apache Hadoop 生态系统的一部分,专为处理海量结构化半结构化数据而设计。HBase 提供了实时读写能力,支持大数据量的存储和检索,尤其适用于实时...
#### 二、HBase体系结构 HBase 的体系结构主要包括以下几个组件: 1. **HBase Client**:客户端用于与 HBase 进行交互,包括读取和写入数据等操作。客户端通过 RPC(远程过程调用)机制与 HMaster 和 ...
HBase系统主要由HBase Master服务器和HRegion服务器群构成,采用主从服务器体系结构模型。HBase通过Zookeeper进行协调分配,以处理运行中的问题,并且其Master服务器不存储任何数据,所有数据存储都在HRegion服务器...
HBase在Hadoop体系结构中的主要特点和作用包括: 1. 高伸缩性:HBase设计之初就考虑到了线性可扩展性,可以在廉价硬件上水平扩展到数以千计的行。 2. 列式存储:HBase是一个列式数据库,与传统的行式数据库不同,...
#### 二、Hadoop体系结构详解 **1. 名称节点(NameNode)与数据节点(DataNode)** - **名称节点:** 是Hadoop文件系统的中心节点,负责维护文件系统的命名空间及客户端对文件的访问。 - **功能:** 主要负责文件...
HBase的体系结构为HBase提供了高效的数据读写速度和容错特性,特别是对数据的某些子集可以进行有效地扫描。此外,HBase通过使用HDFS作为底层存储,能够利用Hadoop的压缩Codec来减少数据存储空间占用。HBase还具备...
在 Hadoop 体系结构中,HBase 位于 HDFS 之上,提供了高效的数据存储和检索服务。 熟练使用 HBase 操作常用的 Shell 命令 HBase Shell 是 HBase 的命令行界面,用户可以通过 HBase Shell 来执行各种操作,例如列出...
- 命名服务:提供统一的命名体系结构。 - 分布式锁:确保资源的独占访问。 - 数据发布/订阅:实现动态数据的发布与订阅。 #### Zookeeper整体运行机制 Zookeeper的核心是原子广播,它将数据更新以及连接状态的...
这种设计简化了体系结构,确保所有元数据都在NameNode的控制之下,保证了数据的一致性。 Hadoop文件系统命名空间遵循传统的分层文件系统结构,允许用户创建目录和在目录内保存文件。虽然目前Hadoop不支持文件访问...
2.3 HBase的体系结构简介 HBase的架构包含Region Server、Master节点、Zookeeper和Region等核心组件。Region Server负责数据存储和处理,Master节点负责全局协调和管理Region分配,Zookeeper提供高可用性保障,...