`
kabike
  • 浏览: 610999 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

浅谈Hbase 的强一致性

 
阅读更多
从一开始就知道hbase是CAP中的CP系统,即hbase是强一致性的.我原来一直以为hbase的强一致性是因为底层的HDFS写入时,必须所有副本都写入成功才能返回.最近才想明白,hbase之所以是CP系统,实际和底层HDFS无关,它是CP系统,是因为对每一个region同时只有一台region server为它服务,对一个region所有的操作请求,都由这一台region server来响应,自然是强一致性的.在这台region server fail的时候,它管理的region failover到其他region server时,需要根据WAL log来redo,这时候进行redo的region应该是unavailable的,所以hbase降低了可用性,提高了一致性.设想一下,如果redo的region能够响应请求,那么可用性提高了,则必然返回不一致的数据(因为redo可能还没完成),那么hbase就降低一致性来提高可用性了.
1
顶
0
踩
分享到：
| Opentsdb的技术特点
评论
1 楼 fei33423 2017-09-25  
同意你的说法. hbase 的强一致性分为两部分来说.
数据分为两部分  1.文件存储 2.hbase region 本身有 lsm 的内存数据.

对于第一部分,hdfs 的数据有个特点不可变. 对于不可变的数据好处是不用考虑更新时的数据一致性. 而分布式的数据一致性本身的由来也是因为各个不同的人想改同一个值(paxos 是 大家都想对"决议"进行修改,使其变成某个值)
meta 数据的修改时通过 zk 的,所以一致性也得到了保证.

对于第二部分数据,由于只有一个 region,只有一个操作者.故也没啥一致性问题.
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    浅谈HBASE数据结构设计.pdf

    - 高可用性：HBase利用Hadoop的高可用性机制和ZooKeeper来保证集群服务的持续可用性，即使***r或RegionServer宕机，集群仍能对外提供服务。 8. 参考文献与扩展阅读 - Tom White. Hadoop: The Definitive Guide. O'...

    浅谈Hive vs. HBase

    - **依赖性**：为了运行 HBase，需要配置 ZooKeeper，这是一个针对大型分布式系统的协调服务。 **2.5 应用场景** - **实时数据查询**：HBase 特别适合需要快速响应的实时查询应用，例如社交媒体平台的实时消息查询...

    HbaseTemplate 操作hbase

    这是一个封装了HBase操作的模板类，简化了Java开发人员与HBase交互的复杂性。通过HbaseTemplate，我们可以执行常见的CRUD（创建、读取、更新和删除）操作以及更复杂的查询。 1. **HbaseTemplate的初始化**：在使用...

    深入浅出HBase.ppt

    hbase

    hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构

    HBase的核心特性包括强一致性、高可扩展性以及实时读写能力，使得它在大数据领域扮演着重要的角色。 《HBase企业应用开发实战》主要面向实际应用开发人员，提供了大量实际案例和解决方案，帮助读者了解如何在企业...

    HIVE和HBASE的整合

    2. 数据一致性：HIVE和HBASE的整合需要确保数据的一致性和完整性，避免数据不一致和不完整的问题。 3. 安全性：HIVE和HBASE的整合需要考虑到安全性问题，确保数据的安全和隐私。 HIVE和HBASE的整合可以实现更好的...

    hbase-0.92.1+zookeeper

    HBase的核心特性包括强一致性、水平扩展性和高可用性。在0.92.1版本中，这些特性得到了进一步优化。 1. **强一致性**：HBase通过主键（row key）提供行级别的强一致性。每次写操作都会立即反映在所有副本中，确保了...

    2016-深入浅出HBase-with-basic-xqb.pptx

    2016-深入浅出HBase-with-basic-xqb这个是我从网上找到的，有需要的就下载吧。

    Hbase权威指南(HBase: The Definitive Guide)

    - **容错性**：通过数据复制和故障恢复机制，HBase能够在节点故障的情况下保证数据的可用性和一致性。 - **灵活的数据模型**：HBase允许用户在不需要预先定义数据结构的情况下插入和查询数据，这对于处理半结构化或...

    hbase2.5.6最新版本下载

    2. 强一致性和高可用性：通过WAL（Write-Ahead Log）和HLog保证数据一致性，Region Server故障时，数据不会丢失。 3. 索引与查询：虽然HBase不是全索引数据库，但可以通过Secondary Index和Filter实现复杂查询。 4...

    Hbase

    HBase 的主要特点包括强一致性、高可扩展性和水平扩展能力。 **HBase 的架构** HBase 的架构基于 Google Bigtable 的论文设计，由 RegionServer、Master Server 和 ZooKeeper 组成。 1. **RegionServer**: ...

    hbase数据可视化系统

    它运行在Hadoop之上，提供强一致性的读写操作，并且能够处理PB级别的数据。HBase的数据模型是列族式，数据按行和列进行组织，每个行都有一个唯一的RowKey，列族内则可以有任意多的列。 二、SpringBoot介绍 ...

    hbase2.2安装文件

    它运行在Hadoop之上，充分利用了HDFS（Hadoop Distributed File System）作为其底层存储系统，具备高扩展性、高性能、强一致性的特性。在大数据领域，HBase是广泛应用于实时数据检索的关键技术之一。 标题“hbase...

    hbase社区2018精选资料

    HBCK2是一个修复工具，用于解决HBase中可能出现的数据一致性问题。 HBase社区的平台建设也是资料的一个重点，文档提到通过平台实践和应用，可以更好地构建和管理大数据系统。这不仅包括硬件层面的存储介质选择，也...

    HBase源代码 hbase-0.98.23

    当一个Region的大小达到预设阈值时，`org.apache.hadoop.hbase.regionserver.HRegion`会触发分裂过程，这涉及到`org.apache.hadoop.hbase.regionserver.SplitTransaction`类的使用，确保分裂过程中数据的一致性。...

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    hbase-1.0.3-bin.tar

    4. **强一致性**：通过主从复制确保数据的一致性，提供ACID（原子性、一致性、隔离性、持久性）特性。 5. **可扩展性**：HBase的架构允许无缝地添加新的服务器来扩展存储和计算能力。 二、HBase的数据模型 HBase...

    hive与hbase整合经验谈

    它在HDFS之上构建，支持列式存储，具备强一致性和高可用性，非常适合处理半结构化和非结构化数据，尤其在实时查询方面表现出色。 将Hive与HBase整合，主要是为了结合两者的优点，实现批量处理和实时查询的无缝对接...

    hbase1.0.3_part2

    HBase，作为Apache Hadoop生态系统中的一个分布式列式数据库，提供实时读写、强一致性的存储服务。它基于Google的Bigtable设计，适用于海量数据存储，尤其适合处理半结构化或非结构化的数据。 Part1可能已经涵盖了...

Magicbox
Global site tag (gtag.js) - Google Analytics