摘要: HBase可以说是一个数据库,也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在2.0中,引入了OffHeap降低了延迟,可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是具有最为竞争力的引擎
HBase概述
HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司,大公司会投入大量的人力去维护、改进、贡献社区。
关于NewSQL与NoSQL的关系
技术总是不断向前发展的,如今都在提NewSQL,其实NewSQL在笔者看来是NoSQL之上的一个封装,一个子场景。NoSQL中的大表,典型就是提供了KV1V2……Vn,其中每个V可以是1b,也可以是100MB。可以说是一个元的存在,就类似于数字世界的01,可以任意组合。在以HBase为代表的NoSQL中,HBase可以组合出任意的场景,NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。
关于计算与存储分离
在云上,对于引擎最为核心的就是存储计算分离,存储可以按需计费,起码得弹性伸缩。计算则按节点存储提供,完全按照QPS计费,要么费用高得吓人,要么难以满足更多的场景。比如存储10M,到底算一次QPS,还是多少次。 由于HBase天生就是存储计算分离,天然比较适配云上的架构,可以说到了云上,HBase更加具有优势。
HBase场景
HBase可以说是一个数据库,也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在2.0中,引入了OffHeap降低了延迟,可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是具有最为竞争力的引擎
- 对象存储:我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中,一些病毒公司的病毒库也是存储在HBase之中
- 时序数据:HBase之上有OpenTSDB模块,可以满足时序类场景的需求
- 推荐画像:特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase之上
- 时空数据:主要是轨迹、气象网格之类,滴滴打车的轨迹数据主要存在HBase之中,另外在技术所有大一点的数据量的车联网企业,数据都是存在HBase之中
- CubeDB OLAP:Kylin一个cube分析工具,底层的数据就是存储在HBase之中,不少客户自己基于离线计算构建cube存储在hbase之中,满足在线报表查询的需求
- 消息/订单:在电信领域、银行领域,不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上
- Feeds流:典型的应用就是xx朋友圈类似的应用
- NewSQL:之上有Phoenix的插件,可以满足二级索引、SQL的需求,对接传统数据需要SQL非事务的需求
阅读更多干货好文,请关注扫描以下二维码:
相关推荐
《HBase实战》是一本实践导向的书籍,通过实际的项目案例,展示了HBase在不同场景下的应用,如实时分析、日志处理、推荐系统等。读者可以从中学习到如何根据业务需求设计合适的HBase表结构,以及如何进行高效的查询...
HBase适用于以下几种典型应用场景: - **大数据量**:适用于处理TB级以上的大规模数据集,例如电商平台的历史交易记录。 - **数据持久增长**:数据量随着时间的推移持续增长的场景。 - **高写入吞吐量**:对于需要高...
HBase作为Google发表BigTable论文的开源实现版本,是一种分布式列式存储的数据库,构建在HDFS之上的NoSQL数据库,非常适合大规模实时查询,因此HBase在实时计算领域使用非常广泛。可以实时写HBase,也可以利用...
#### 二、HBase应用场景 HBase因其独特的设计特点,在多种场景下得到了广泛的应用: 1. **典型互联网搜索问题**:HBase能够快速检索大量数据,适用于搜索引擎中的索引查询等功能。 2. **捕获增量数据**:例如...
HBase应用开发是华为大数据培训课程中的一个...以上所述的HBase应用开发知识点,为开发者提供了全面的理论知识和实践指导,旨在帮助他们快速理解和掌握HBase技术,并能够有效地将HBase应用于大数据处理和分析的场景中。
11. **应用场景**:HBase常用于日志分析、物联网(IoT)数据存储、实时监控系统以及大规模数据分析等领域。 12. **优化策略**:包括Region大小调整、预读取(Prefetching)、表分区设计、合理设置HBase配置等,以提升...
这份"40页的HBase应用场景原理与基本架构"文档,很可能是对HBase的深度解析,包括其核心概念、工作原理、实际应用案例以及如何构建和扩展HBase集群。 首先,HBase的基本架构由Region Server、Master Server、...
HBase是Apache软件基金会旗下一个开源的非关系型分布式数据库(NoSQL),是Google ...HBase企业应用开发涉及的HBase文档通常会包含以上介绍的这些知识点,并针对企业实际应用场景给出详细的实现方案和最佳实践。
在介绍HBase的应用场景及最佳实践之前,有必要先理解它的核心特点和操作方式。 HBase适合处理大量数据,尤其适用于需要快速读写能力的场景。它的设计理念基于列存储,这意味着数据的存储和访问都是按列族进行的,这...
HBase 在滴滴出行中的应用场景和最佳实践表明了 HBase 在大规模数据存储和处理方面的强大能力。HBase 的高可靠性、高性能、面向列、可伸缩的特点使其在滴滴出行中的应用场景中扮演着重要的角色。
- Hbase不同于传统的关系型数据库,它不支持SQL,而是使用基于行键的API进行数据操作,适用于大数据分析和实时查询场景。 4. **Hbase部署**: - 部署Hbase同样需要配置相应的环境,包括修改`hbase-site.xml`配置...
Hbase全称为Hadoop Database,即Hbase是Hadoop的数据库,是一个分布式的存储系统。Hbase利用Hadoop的HDFS作为其文件存储系统,利用Hadoop的MapReduce来处理Hbase中的海量数据。利用zookeeper作为其协调工具。 本篇...
下面将基于这些信息,详细介绍HBase的基础概念、特点以及它在企业级应用中的常见应用场景。 ### HBase基础概念 HBase是一个开源的、分布式的、面向列的存储系统,它构建在Hadoop之上,提供了类似于Google Bigtable...
《HBase企业应用开发实战》是一本深度剖析HBase在实际业务场景中应用的专业书籍,旨在帮助读者理解和掌握HBase的核心功能、设计理念以及在大规模数据处理中的应用策略。HBase,作为Apache的一个分布式、高性能、基于...
分布式存储系统:HBase:HBase在大数据场景下的应用案例.docx
淘宝通过将HBase应用于实际业务场景,不仅解决了传统数据库无法满足的大数据存储和处理问题,还实现了业务的快速发展和技术的进步。未来,随着HBase技术的不断演进和淘宝业务需求的变化,双方的合作将进一步深化,...
HBase的应用广泛,比如在日志分析、实时监控、物联网设备数据存储等领域都有其身影。例如,可以创建一张表来存储设备的传感器数据,Row Key可以是设备ID加时间戳,列簇可以对应不同的传感器类型,这样就能方便地按...
《HBase在淘宝的应用与优化》一文详细阐述了阿里巴巴集团旗下淘宝网如何利用Apache HBase这一分布式数据库系统解决大规模数据处理的问题。以下是对该文关键知识点的深入解析: ### 使用HBase的动机 淘宝选择HBase...
本文来自于csdn,文章主要从HBase概述以及数据模型基本架构,简单的介绍Hbase了,希望对大家有帮助。HBase是一个构建在HDFS上的分布式列存储系统。HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据...