`

HBase 原理

 
阅读更多

http://lxw1234.com/archives/2016/09/719.html

这一篇讲的不错

Rowkey设计

rowkey是HBase实现分布式的基础,HBase通过rowkey范围划分不同的region,分布式系统的基本要求就是在任何时候,系统的 访问都不要出现明显的热点现象,所以rowkey的设计至关重要,一般我们建议rowkey的开始部分以hash或者MD5进行散列,尽量做到 rowkey的头部是均匀分布的。禁止采用时间、用户id等明显有分段现象的标志直接当作rowkey来使用。

列簇设计

HBase的表设计时,根据不同需求有不同选择,需要做在线查询的数据表,尽量不要设计多个列簇,我们知道,不同的列簇在存储上是被分开的,多列簇设计会造成在数据查询的时候读取更多的文件,从而消耗更多的I/O。

TTL设计

选择合适的数据过期时间也是表设计中需要注意的一点,HBase中允许列簇定义数据过期时间,数据一旦超过过期时间,可以被major compact进行清理。大量无用历史数据的残余,会造成region体积增大,影响查询效率。

分享到:
评论

相关推荐

    《NoSQL数据库原理与应用案例教程》PPT课件(共9单元)第4章 HBase原理实现.pdf

    《NoSQL数据库原理与应用案例教程》PPT课件(共9单元)第4章 HBase原理实现.pdf《NoSQL数据库原理与应用案例教程》PPT课件(共9单元)第4章 HBase原理实现.pdf《NoSQL数据库原理与应用案例教程》PPT课件(共9单元)第4章 ...

    hbase原理和设计

    ### HBase原理与设计 #### 一、HBase概述 HBase是一个开源的、高性能的分布式存储系统,基于Hadoop之上构建。它提供了一个高度可靠、面向列的存储方案,适用于处理大规模的数据集。HBase的设计特点包括: 1. **高...

    深入学习hbase原理资料整理

    《深入学习HBase原理》 HBase,全称为Hadoop Database,是一款高度可扩展的、高性能的、面向列的分布式数据库。它源自Google的Bigtable论文,并在其基础上为Hadoop生态系统提供了一种强大的非结构化数据存储解决...

    hbase 学习 hbase原理 hbase资料

    HBase是一种分布式、高性能、基于列族的NoSQL数据库,主要设计用于处理大规模数据集。在深入了解HBase之前,我们先来理解一下它的基本概念。 HBase是构建在Hadoop文件系统(HDFS)之上的,它利用了Hadoop的分布式...

    HBase企业应用开发实战-高清

    这些基础知识是理解HBase工作原理的关键,对于开发者来说,能够帮助他们在设计数据模型时做出合理的选择,以满足不同业务需求。 接下来,书中深入探讨了HBase的框架设计,包括Region Server的职责、Zookeeper的角色...

    HBase企业应用开发实战 PDF电子书 带书签目录

    根据提供的信息来看,这份文档主要涉及的是《HBase企业应用开发实战》这本电子书的简介及提供者的一些联系方式和服务介绍。尽管文档中没有提供具体的书籍内容,但从标题、描述和标签中我们可以推断出该书是关于HBase...

    HBase 基本原理

    HBase 基本原理,出版于 2014,HBase is a NoSQL database that primarily works on top of Hadoop. HBase is based on the storage architecture followed by the BigTable. HBase inherits the storage design ...

    HBase技术原理

    **HBase技术原理** HBase,全称是Apache HBase,是一种分布式的、基于列族的NoSQL数据库,设计用于大规模数据集(数十亿行,数百万列)的存储和检索。它构建在Hadoop文件系统(HDFS)之上,为大数据处理提供了实时...

    HBase企业应用开发实战 (大数据技术丛书 1)

    HBase企业应用开发实战 (大数据技术丛书 1) 不错的资源

    Hbase实验报告.pdf

    **HBase实验报告** 在本实验中,我们主要聚焦于HBase,这是一个基于谷歌Bigtable设计的开源NoSQL数据库,广泛应用于大数据存储场景。实验旨在让参与者熟练掌握HBase的Shell操作,包括创建表、输入数据以及进行特定...

    HBase企业应用开发实战-马延辉 孟鑫

    《HBase企业应用开发实战》是由马延辉和孟鑫合著的一本深入解析HBase在企业级应用中的实践指南。这本书旨在帮助读者理解和掌握如何有效地利用HBase解决大数据存储和处理的问题。以下是对该书内容的详细概述: HBase...

    IT十八掌_HBase阶段学习笔记(课堂笔记与原理图解)

    IT十八掌大数据第三期配套课堂笔记! 1 、HBase的特点 2 、HBase访问接口 3 、HBase存储结构与格式 4 、HBase设计 5 、关键算法和流程 6 、HBase安装 7、HBase的Shell操作 8、HBase客户端

    HBase企业应用开发实战.rar

    《HBase企业应用开发实战》这本书是针对实时大数据架构设计的一本实践指南,它深入浅出地介绍了如何在企业...通过阅读本书,你可以深入理解HBase的工作原理,提升大数据处理能力,为企业的数据驱动决策提供强大支持。

    Hbase课程资料笔记,介绍、原理、入门实操.zip

    **HBase原理** 1. **Region服务器(Region Server)**: HBase的数据存储在Region Server上,每个Region Server负责一部分表的存储。 2. **Region划分**: 表会被动态地分割成多个Region,每个Region包含一部分行键...

    HBase企业应用开发实战.part3

    企业应用开发实战中文版,共包括三个压缩文件(1-HBase企业应用开发实战.part1.rar,1-HBase企业应用开发实战.part2.rar,1-HBase企业应用开发实战.part3.rar)

    Hbase1.x可视化客户端工具

    需要注意的是,虽然可视化工具为HBase操作带来了便利,但它们并不能替代对HBase原理的理解。理解HBase的核心概念,如Region、RowKey、Column Family和Version,以及HBase的数据模型和分布式架构,对于有效利用这些...

Global site tag (gtag.js) - Google Analytics