引<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
最近关注Hadoop，因此也顺便关注了一下Hadoop相关的项目。HBASE就是基于Hadoop的一个开源项目，也是对Google的BigTable的一种实现。
BigTable是什么？Google的Paper对其作了充分的说明。字面上看就是一张大表，其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry（key & value）和DB Row之间的一种数据。在我使用Memcache的时候，有时候的需求是需要存储的不仅仅是简单的一个key对应一个value，可能我需要类似于数据库表结构中多属性的存储，但是又不会有传统数据库表结构中那么多关联关系的需求，其实这类数据就是所谓的松散数据。BigTable最浅显来看就是一张很大的表，表的属性可以根据需求去动态增加，但是又没有表与表之间关联查询的需求。
互联网应用有一个最大的特点，就是速度，功能再强大，速度慢，还是会被舍弃。因此在大访问量的网站都采取前后的缓存来提升性能和响应时间。对于Map Entry类型的数据，集中式分布式Cache都有很多选择，对于传统的关系型数据，从MySQL到Oracle都给了很好的支持，唯有松散数据这类数据，采用前后两种解决方案都不能最大化它的处理能力。因此BigTable才有了它用武之地。
HBASE作为Apache的开源项目，也是出于起步阶段，因为其实它所依赖的Hadoop也不能说已经到了成熟阶段，所以都有很大的发展空间，这也为我们这些开源爱好者提供了更多空间去贡献。这里主要会谈到HBASE的框架设计方面的知识和它的一些特点，不论是否采用HBASE去解决工作中的问题，一种好的流程设计总会给开发者和架构设计者带来一些思想上的火花。
HBASE设计介绍
数据模型
HBASE中的每一张表，就是所谓的BigTable。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：Row Key,Time Stamp,Column。Row Key是行在BigTable中的唯一标识，Time Stamp是每次数据操作对应关联的时间戳，可以看作类似于SVN的版本，Column定义为：<family>:<label>，通过这两部分可以唯一的指定一个数据的存储列，family的定义和修改需要对HBASE作类似于DB的DDL操作，而对于label的使用，则不需要定义直接可以使用，这也为动态定制列提供了一种手段。family另一个作用其实在于物理存储优化读写操作，同family的数据物理上保存的会比较临近，因此在业务设计的过程中可以利用这个特性。
看一下逻辑数据模型：
|
Row Key
|
Time Stamp
|
Column "contents:"
|
Column "anchor:"
|
Column "mime:"
|
|
"com.cnn.www"
|
t9
|
|
"anchor:cnnsi.com"
|
"CNN"
|
|
|
t8
|
|
"anchor:my.look.ca"
|
"CNN.com"
|
|
|
t6
|
"<html>..."
|
|
|
"text/html"
|
|
t5
|
"<html>..."
|
|
|
|
|
t3
|
"<html>..."
|
|
|
|
上表中有一列，列的唯一标识为com.cnn.www，每一次逻辑修改都有一个timestamp关联对应，一共有四个列定义：<contents:>,<anchor:cnnsi.com>,<anchor:my.look.ca>,<mime:>。如果用传统的概念来将BigTable作解释，那么BigTable可以看作一个DB Schema，每一个Row就是一个表，Row key就是表名，这个表根据列的不同可以划分为多个版本，同时每个版本的操作都会有时间戳关联到操作的行。
再看一下HBASE的物理数据模型：
|
Row Key
|
Time Stamp
|
Column "contents:"
|
|
"com.cnn.www"
|
t6
|
"<html>..."
|
|
t5
|
"<html>..."
|
|
t3
|
"<html>..."
|
|
Row Key
|
Time Stamp
|
Column "anchor:"
|
|
"com.cnn.www"
|
t9
|
"anchor:cnnsi.com"
|
"CNN"
|
|
t8
|
"anchor:my.look.ca"
|
"CNN.com"
|
|
Row Key
|
Time Stamp
|
Column "mime:"
|
|
"com.cnn.www"
|
t6
|
"text/html"
|
物理数据模型其实就是将逻辑模型中的一个Row分割成为根据Column family存储的物理模型。
对于BigTable的数据模型操作的时候，会锁定Row，并保证Row的原子操作。
框架结构及流程
<?xml:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" /><shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" stroked="f"><stroke joinstyle="miter"></stroke><formulas><f eqn="if lineDrawn pixelLineWidth 0"></f><f eqn="sum @0 1 0"></f><f eqn="sum 0 0 @1"></f><f eqn="prod @2 1 2"></f><f eqn="prod @3 21600 pixelWidth"></f><f eqn="prod @3 21600 pixelHeight"></f><f eqn="sum @0 0 1"></f><f eqn="prod @6 1 2"></f><f eqn="prod @7 21600 pixelWidth"></f><f eqn="sum @8 21600 0"></f><f eqn="prod @7 21600 pixelHeight"></f><f eqn="sum @10 21600 0"></f></formulas><path o:extrusionok="f" gradientshapeok="t" o:connecttype="rect"></path><lock v:ext="edit" aspectratio="t"></lock></shapetype><shape id="_x0000_i1025" style="WIDTH: 300pt; HEIGHT: 297pt" type="#_x0000_t75"><imagedata src="file:///C:/DOCUME~1/WENCHU~1.CEN/LOCALS~1/Temp/msohtml1/01/clip_image001.emz" o:title=""></imagedata></shape>
图1 框架结构图
HBASE依托于Hadoop的HDFS作为存储基础，因此结构也很类似于Hadoop的Master-Slave模式，Hbase Master Server 负责管理所有的HRegion Server，但Hbase Master Server本身并不存储HBASE中的任何数据。HBASE逻辑上的Table被定义成为一个Region存储在某一台HRegion Server上，HRegion Server 与Region的对应关系是一对多的关系。每一个HRegion在物理上会被分为三个部分：Hmemcache、Hlog、HStore，分别代表了缓存，日志，持久层。通过一次更新流程来看一下这三部分的作用：
<shape id="_x0000_i1026" style="WIDTH: 415.5pt; HEIGHT: 277.5pt" type="#_x0000_t75"><imagedata src="file:///C:/DOCUME~1/WENCHU~1.CEN/LOCALS~1/Temp/msohtml1/01/clip_image003.emz" o:title=""><font color="#000000" size="3"></font></imagedata></shape>
图2 提交更新以及刷新Cache流程
由流程可以看出，提交更新操作将会写入到两部分实体中，HMemcache和Hlog中，HMemcache就是为了提高效率在内存中建立缓存，保证了部分最近操作过的数据能够快速的被读取和修改，Hlog是作为同步Hmemcache和Hstore的事务日志，在HRegion Server周期性的发起Flush Cache命令的时候，就会将Hmemcache中的数据持久化到Hstore中，同时会清空Hmemecache中的数据，这里采用的是比较简单的策略来做数据缓存和同步，复杂一些其实可以参照java的垃圾收集机制来做。
在读取Region信息的时候，优先读取HMemcache中的内容，如果未取到再去读取Hstore中的数据。
几个细节：
1． 由于每一次Flash Cache，就会产生一个Hstore File，在Hstore中存储的文件会越来越多，对性能也会产生一定影响，因此达到设置文件数量阀值的时候就会Merge这些文件为一个大文件。
2． Cache大小的设置以及flush的时间间隔设置需要考虑内存消耗以及对性能的影响。
3． HRegion Server每次重新启动的时候会将Hlog中没有被Flush到Hstore中的数据再次载入到Hmemcache，因此Hmemcache过大对于启动的速度也有直接影响。
4． Hstore File中存储数据采用B-tree的算法，因此也支持了前面提到对于Column同Family数据操作的快速定位获取。
5． HRegion可以Merge也可以被Split，根据HRegion的大小决定。不过在做这些操作的时候HRegion都会被锁定不可使用。
6． Hbase Master Server通过Meta-info Table来获取HRegion Server的信息以及Region的信息，Meta最顶部的一个Region是虚拟的一个叫做Root Region，通过Root Region可以找到下面各个实际的Region。
7． 客户端通过Hbase Master Server获得了Region所在的Region Server，然后就直接和Region Server进行交互，而对于Region Server相互之间不通信，只和Hbase Master Server交互，受到Master Server的监控和管理。
后话
对HBase还没有怎么使用，仅仅只是看了wiki去了解了一下结构和作用，暂时还没有需要使用的场景，不过对于各种开源项目的设计有所了解，对自己的框架结构设计也会有很多帮助，因此分享一下。
分享到：
相关推荐
从HBase的集群搭建、HBaseshell操作、java编程、架构、原理、涉及的数据结构，并且结合陌陌海量消息存储案例来讲解实战HBase 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为...
HBase的设计目标是存储并处理大量的稀疏数据，对于拥有数以亿计的行和数以千计的列的表格，HBase可以实现快速的随机访问和高效的数据读写。 2. HBase基本概念 - 表（Table）：HBase中所有的数据都存储在表中，表...
│ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 │ Day1503_Hbase与MYSQL的存储比较.mp4 │ Day1504_Hbase部署环境准备.mp4 │ Day...
在大数据领域，HBase作为一款分布式列式数据库，因其高并发、低延迟和大规模存储的特点，被广泛应用在实时数据处理和分析中。然而，对于非技术人员来说，直接操作HBase命令行进行数据管理可能会显得较为复杂。因此，...
HBase是一种基于列存储的分布式数据库，它是Apache Hadoop生态系统的一部分，设计用于处理海量数据。HBase的主要特征包括： 1. **分布式存储**：HBase构建在Hadoop的HDFS（Hadoop Distributed File System）之上，...
在大数据领域，HBase是一个基于Hadoop的分布式数据库，它为海量结构化和半结构化数据提供了高可靠性、高性能的存储方案。HBase备份和数据恢复是系统运维中至关重要的一环，确保了业务连续性和数据安全性。同时，...
HBase 是一个分布式的、面向列的NoSQL数据库，适合存储大规模结构化数据。而Solr 是一个流行的全文搜索引擎，提供高效的全文检索、命中高亮、拼写检查等特性。将HBase的数据同步到Solr，可以实现快速的搜索功能，这...
### HBase海量数据全量导入方法详解 在大数据领域，HBase作为一款分布式、...通过深入理解HBase的数据结构和Hadoop生态的集成方式，我们可以更好地设计和实施大数据导入方案，充分发挥HBase在大数据处理领域的优势。
Kettle支持多种数据源，并且可以通过图形界面设计数据流，非常适合大规模数据处理场景。 ##### 1.1 集群架构 Kettle集群主要由一个主Carte服务器和多个从Carte服务器组成，其结构类似于master-slave模式。主Carte...
在大数据处理领域，HBase作为...总结来说，将CSV数据存储到HBase涉及数据预处理、HBase表的设计、数据插入以及可能的优化措施。通过实践和学习，你可以熟练掌握这一技能，从而在大数据场景中充分利用HBase的强大功能。
这一步骤需要将原始文本数据格式化为HBase存储结构所需的格式，确保数据在迁移到HBase后可以被正确解析和存储。 第二步骤：将生成的HFile文件载入到HBase中。载入数据的操作本质上是将数据从HDFS移动到HBase表中。...
本示例将详细介绍如何使用 Spark 从 HBase 中读取数据，并通过 Spark SQL 将其存储到 MySQL 数据库中。 首先，让我们了解 Spark 与 HBase 的交互。Spark 提供了 `spark-hbase-connector` 库，允许我们方便地连接到 ...
HBASE的一个读取数据流程的解析，清晰的画出整个过程，十分有利于理解
HBase 和 Hadoop 数据块损坏处理 HBase 和 Hadoop 数据块损坏是非常常见的问题，可能会导致数据丢失、集群崩溃等严重后果。因此，了解如何处理 HBase 和 Hadoop 数据块损坏是非常重要的。本文将介绍 HBase 和 ...
它不仅展示了Django的强大后端能力，LayUI的优雅前端设计，还充分利用了HBase的大数据存储优势，为文献数据的深度挖掘提供了高效、可靠的平台。这样的系统对于学术研究、情报分析以及知识管理等领域具有广泛的应用...
首先，HBase是Apache Hadoop生态中的一个分布式列式数据库，它提供实时的数据访问，并且支持大规模数据存储。HBase的设计目标是对超大型表进行随机、实时读写操作。而HDFS则是Hadoop的核心组件，作为一个分布式文件...
python 连接hbase 打印数据。hbase 的一些源数据未转化
本篇论文介绍了一种名为HOS的分布式存储系统的设计与实现，该系统基于HBase构建。随着大数据时代的到来，数据量的增长速度前所未有，为了有效存储和管理这些数据，迫切需要创新的存储方案。HBase作为一个分布式、列...