HBASE松散数据存储设计初识

cenwenchu

浏览: 163814 次
性别:
来自: 杭州

最近访客更多访客>>

543089122

aozhejin

naruto2902

x896648321

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

HBase 设计模式数据结构 Hadoop F#

引<o:p></o:p>

最近关注Hadoop，因此也顺便关注了一下Hadoop相关的项目。HBASE就是基于Hadoop的一个开源项目，也是对Google的BigTable的一种实现。

BigTable是什么？Google的Paper对其作了充分的说明。字面上看就是一张大表，其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry（key & value）和DB Row之间的一种数据。在我使用Memcache的时候，有时候的需求是需要存储的不仅仅是简单的一个key对应一个value，可能我需要类似于数据库表结构中多属性的存储，但是又不会有传统数据库表结构中那么多关联关系的需求，其实这类数据就是所谓的松散数据。BigTable最浅显来看就是一张很大的表，表的属性可以根据需求去动态增加，但是又没有表与表之间关联查询的需求。

互联网应用有一个最大的特点，就是速度，功能再强大，速度慢，还是会被舍弃。因此在大访问量的网站都采取前后的缓存来提升性能和响应时间。对于Map Entry类型的数据，集中式分布式Cache都有很多选择，对于传统的关系型数据，从MySQL到Oracle都给了很好的支持，唯有松散数据这类数据，采用前后两种解决方案都不能最大化它的处理能力。因此BigTable才有了它用武之地。

HBASE作为Apache的开源项目，也是出于起步阶段，因为其实它所依赖的Hadoop也不能说已经到了成熟阶段，所以都有很大的发展空间，这也为我们这些开源爱好者提供了更多空间去贡献。这里主要会谈到HBASE的框架设计方面的知识和它的一些特点，不论是否采用HBASE去解决工作中的问题，一种好的流程设计总会给开发者和架构设计者带来一些思想上的火花。

HBASE设计介绍<o:p></o:p>

数据模型<o:p></o:p>

HBASE中的每一张表，就是所谓的BigTable。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：Row Key,Time Stamp,Column。Row Key是行在BigTable中的唯一标识，Time Stamp是每次数据操作对应关联的时间戳，可以看作类似于SVN的版本，Column定义为：<family>:<label>，通过这两部分可以唯一的指定一个数据的存储列，family的定义和修改需要对HBASE作类似于DB的DDL操作，而对于label的使用，则不需要定义直接可以使用，这也为动态定制列提供了一种手段。family另一个作用其实在于物理存储优化读写操作，同family的数据物理上保存的会比较临近，因此在业务设计的过程中可以利用这个特性。

<o:p> </o:p>

看一下逻辑数据模型：

<o:p> </o:p>

Row Key <o:p></o:p>	Time Stamp <o:p></o:p>	Column "contents:" <o:p></o:p>	Column "anchor:" <o:p></o:p>	Column "mime:" <o:p></o:p>
"com.cnn.www" <o:p></o:p>	t9 <o:p></o:p>	<o:p> </o:p>	"anchor:cnnsi.com" <o:p></o:p>	"CNN" <o:p></o:p>	<o:p> </o:p>
t8 <o:p></o:p>	<o:p> </o:p>	"anchor:my.look.ca" <o:p></o:p>	"CNN.com" <o:p></o:p>	<o:p> </o:p>
t6 <o:p></o:p>	"<html>..." <o:p></o:p>	<o:p> </o:p>	<o:p> </o:p>	"text/html" <o:p></o:p>
t5 <o:p></o:p>	"<html>..." <o:p></o:p>	<o:p> </o:p>	<o:p> </o:p>	<o:p> </o:p>
t3 <o:p></o:p>	"<html>..." <o:p></o:p>	<o:p> </o:p>	<o:p> </o:p>	<o:p> </o:p>

<o:p> </o:p>

上表中有一列，列的唯一标识为com.cnn.www，每一次逻辑修改都有一个timestamp关联对应，一共有四个列定义：<contents:>,<anchor:cnnsi.com>,<anchor:my.look.ca>,<mime:>。如果用传统的概念来将BigTable作解释，那么BigTable可以看作一个DB Schema，每一个Row就是一个表，Row key就是表名，这个表根据列的不同可以划分为多个版本，同时每个版本的操作都会有时间戳关联到操作的行。

<o:p> </o:p>

再看一下HBASE的物理数据模型：

Row Key <o:p></o:p>	Time Stamp <o:p></o:p>	Column "contents:" <o:p></o:p>
"com.cnn.www" <o:p></o:p>	t6 <o:p></o:p>	"<html>..." <o:p></o:p>
t5 <o:p></o:p>	"<html>..." <o:p></o:p>
t3 <o:p></o:p>	"<html>..." <o:p></o:p>

<o:p> </o:p>

Row Key <o:p></o:p>	Time Stamp <o:p></o:p>	Column "anchor:" <o:p></o:p>
"com.cnn.www" <o:p></o:p>	t9 <o:p></o:p>	"anchor:cnnsi.com" <o:p></o:p>	"CNN" <o:p></o:p>
t8 <o:p></o:p>	"anchor:my.look.ca" <o:p></o:p>	"CNN.com" <o:p></o:p>

<o:p> </o:p>

Row Key <o:p></o:p>	Time Stamp <o:p></o:p>	Column "mime:" <o:p></o:p>
"com.cnn.www" <o:p></o:p>	t6 <o:p></o:p>	"text/html" <o:p></o:p>

<o:p> </o:p>

物理数据模型其实就是将逻辑模型中的一个Row分割成为根据Column family存储的物理模型。

<o:p> </o:p>

对于BigTable的数据模型操作的时候，会锁定Row，并保证Row的原子操作。

<o:p> </o:p>

框架结构及流程<o:p></o:p>

<v:shapetype o:spt="75" coordsize="21600,21600" filled="f" stroked="f" id="_x0000_t75" path="m@4@5l@4@11@9@11@9@5xe" o:preferrelative="t"><v:stroke joinstyle="miter"></v:stroke><v:formulas><v:f eqn="if lineDrawn pixelLineWidth 0"></v:f><v:f eqn="sum @0 1 0"></v:f><v:f eqn="sum 0 0 @1"></v:f><v:f eqn="prod @2 1 2"></v:f><v:f eqn="prod @3 21600 pixelWidth"></v:f><v:f eqn="prod @3 21600 pixelHeight"></v:f><v:f eqn="sum @0 0 1"></v:f><v:f eqn="prod @6 1 2"></v:f><v:f eqn="prod @7 21600 pixelWidth"></v:f><v:f eqn="sum @8 21600 0"></v:f><v:f eqn="prod @7 21600 pixelHeight"></v:f><v:f eqn="sum @10 21600 0"></v:f></v:formulas><v:path o:extrusionok="f" o:connecttype="rect" gradientshapeok="t"></v:path><o:lock v:ext="edit" aspectratio="t"></o:lock></v:shapetype><v:shape id="_x0000_i1025" type="#_x0000_t75" style="WIDTH: 300pt; HEIGHT: 297pt"><v:imagedata src="file:///C:\DOCUME~1\WENCHU~1.CEN\LOCALS~1\Temp\msohtml1\01\clip_image001.emz" o:title=""></v:imagedata></v:shape>

图1 框架结构图<o:p></o:p>

HBASE依托于Hadoop的HDFS作为存储基础，因此结构也很类似于Hadoop的Master-Slave模式，Hbase Master Server 负责管理所有的HRegion Server，但Hbase Master Server本身并不存储HBASE中的任何数据。HBASE逻辑上的Table被定义成为一个Region存储在某一台HRegion Server上，HRegion Server 与Region的对应关系是一对多的关系。每一个HRegion在物理上会被分为三个部分：Hmemcache、Hlog、HStore，分别代表了缓存，日志，持久层。通过一次更新流程来看一下这三部分的作用：

<v:shape id="_x0000_i1026" type="#_x0000_t75" style="WIDTH: 415.5pt; HEIGHT: 277.5pt"><v:imagedata src="file:///C:\DOCUME~1\WENCHU~1.CEN\LOCALS~1\Temp\msohtml1\01\clip_image003.emz" o:title=""></v:imagedata></v:shape>

图2 提交更新以及刷新Cache流程<o:p></o:p>

由流程可以看出，提交更新操作将会写入到两部分实体中，HMemcache和Hlog中，HMemcache就是为了提高效率在内存中建立缓存，保证了部分最近操作过的数据能够快速的被读取和修改，Hlog是作为同步Hmemcache和Hstore的事务日志，在HRegion Server周期性的发起Flush Cache命令的时候，就会将Hmemcache中的数据持久化到Hstore中，同时会清空Hmemecache中的数据，这里采用的是比较简单的策略来做数据缓存和同步，复杂一些其实可以参照java的垃圾收集机制来做。

分享到：

Memcache Hash算法值得探索的内容 | Hadoop中的集群配置和使用技巧——分布式计 ...

2008-08-08 11:30
浏览 1206
评论(0)
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论