`
lc_koven
  • 浏览: 353628 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase中对deadserver处理的困扰

阅读更多
hbase在一个regionServer死掉后,即使重启了这个server,deadlist中也不会去掉原先死去的deadserver。
例如:
hbase shell
>status
5 servers, 0 dead, 6.2000 average load

停掉其中一个节点
hbase-daemon.sh stop regionserver

然后
hbase shell
>status
4 servers, 1 dead, 6.2000 average load

再立即重启该节点:
hbase-daemon.sh start regionserver

此时回到shell中
hbase shell
>status
5 servers, 1 dead, 6.2000 average load


根本原因是在ServerManager中处理时只有add而没有remove,当然deadlist值有一个上限由hbase.master.maxdeadservers决定,默认为100:
  public synchronized boolean add(String e) {
    this.numProcessing++;
    // Check to see if we are at capacity for dead servers
    if (deadServerList.size() == this.maxDeadServers) {
      deadServers.remove(deadServerList.remove(0));
    }
    deadServerList.add(e);
    return deadServers.add(e);
  }



这一点会对用户造成很大的困扰,因此前几天诞生了这个patch,预期在0.90.2中加上
https://issues.apache.org/jira/browse/HBASE-3580
注:这个patch没赶上0.90.2,己延期到0.90.3了
分享到:
评论

相关推荐

    hbase的rowkey设计与hbase的协处理器运用.docx

    HBase 协处理器是一种高级的数据处理机制,可以对数据进行实时处理和分析。协处理器可以应用于数据清洁、数据转换、数据聚合等场景。 HBase 是一个功能强大且高性能的 NoSQL 数据库,具有广泛的应用前景。 RowKey ...

    本科毕业设计项目,基于spark streaming+flume+kafka+hbase的实时日志处理分析系统,大数据处理技术

    本科毕业设计项目,基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 本科毕业设计项目,基于spark streaming+flume+kafka+hbase的...

    mysql中数据经处理导入到hbase中

    本文将详细介绍如何将MySQL中的数据处理成JSON格式并导入到HBase中。 首先,我们需要了解MySQL的基本操作。MySQL是一个流行的开源RDBMS,它支持SQL语言,用于创建、查询、更新和删除数据库中的记录。在本场景中,...

    HbaseTemplate 操作hbase

    在IT行业中,尤其是在大数据处理领域,HBase是一个广泛使用的分布式、高性能、列式存储的NoSQL数据库。HBase是建立在Hadoop文件系统(HDFS)之上,为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data...

    HBase官方文档中文版-HBase手册中文版

    HBase是一种分布式、基于列族的NoSQL数据库,由Apache软件基金会开发并维护,是Hadoop生态系统中的重要组件。这份“HBase官方文档中文版”提供了全面深入的HBase知识,帮助用户理解和掌握如何在大数据场景下有效地...

    java操作Hbase之从Hbase中读取数据写入hdfs中源码

    在Java编程环境中,操作HBase并将其数据写入HDFS(Hadoop Distributed File System)是一项常见的任务,特别是在大数据处理和分析的场景下。本篇将详细介绍如何使用Java API实现这一功能,以及涉及到的关键技术和...

    Hbase 官方中文文档

    - 涉及了在HBase中进行模式设计时需要考虑的要素,包括列族的创建、行键设计、版本数量控制等。 - 探讨了支持的数据类型和使用第二索引以及替代查询路径。 - 讨论了设计时的一些限制和用例,以及对操作和性能产生...

    hbase和hadoop数据块损坏处理

    HBase 和 Hadoop 数据块损坏处理 HBase 和 Hadoop 数据块损坏是非常常见的问题,可能会导致数据丢失、集群崩溃等严重后果。因此,了解如何处理 HBase 和 Hadoop 数据块损坏是非常重要的。本文将介绍 HBase 和 ...

    HBase中文教程.pdf

    HBase是Apache软件基金会下的Hadoop项目中的一个子项目,它是一个分布式、面向列的NoSQL数据库系统,主要用来解决大量结构化数据的存储和实时读写访问问题。HBase的设计灵感来源于谷歌的Bigtable,提供了对海量数据...

    HBase官方文档

    在介绍中,对HBase进行了基础的定义和描述,提到其作为一种NoSQL数据库,如何使用它存储和处理数据。快速开始则会指导新用户如何开始搭建和使用HBase。 ### 配置 HBase的配置章节涉及了基础条件、运行模式、配置...

    Python-HBase中文参考指南

    `happybase`提供了一种更接近SQL的接口,而`pyhbase`则是对HBase Thrift API的直接封装,更加底层。这两种库都允许开发者创建表、插入和查询数据,以及管理HBase集群。 ### 三、HBase表的创建与管理 在Python中...

    HBase分布式架构处理大数据量(高并发和实时处理)

    HDFS(HadoopDistributedFileSystem)分布式文件管理系统、是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。...

    (源码)基于Hadoop和HBase的日志数据处理系统.zip

    本项目是一个基于Hadoop和HBase的日志数据处理系统,旨在通过Hadoop的MapReduce框架处理大规模日志数据,并将处理后的数据存储到HBase中。项目涵盖了日志数据的清洗、转换、存储和查询等多个环节,适用于需要处理...

    基于MapReduce和HBase的海量网络数据处理.pdf

    数据解析部分使用MapReduce来对二进制数据进行解析,并将解析后的数据存储在HBase中。数据存储部分使用HBase来存储解析后的文本数据,并提供了一个基于PHP的数据查询界面。 系统的优点是可以实现对海量网络数据的...

    【HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!

    HBase是一种分布式的、面向列的数据库管理系统,它利用Hadoop HDFS作为其文件存储系统,使用Hadoop MapReduce来处理HBase中的海量数据,并且使用Zookeeper作为其协同服务。HBase以表的形式存储数据,表由行和列组成...

    HBase 0.97 中文文档

    HBase 0.97 中文文档 HBase 0.97 中文文档 HBase 0.97 中文文档

    HBase中文教程 PDF 下载

    通过阅读《HBase中文教程》,Java开发者不仅可以了解HBase的基本原理,还能学会如何在实际工作中运用HBase解决大数据存储和处理问题,提升项目效率。无论是对大数据感兴趣的初学者,还是有经验的开发者,都能从这本...

    Hbase中文文档

    3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells...

    Hbase 组件 、架构

    HRegionServer是HBase集群运行在每个工作节点上的服务组件,负责维护Master分配给它的Region,处理对这些Region的读写请求,并在Region运行过程中进行切分。当Region变得过大时,HRegionServer会负责将它分割成两个...

    大数据处理:HBASE.ppt

    【大数据处理:HBASE.ppt】的文档主要探讨了从关系型数据库(RDBMS)向分布式非关系型数据库HBase的转换,以及HBase在大数据处理中的表设计、操作方式和最佳实践。 1. **从RDBMS到HBase的表设计转变** - RDBMS基于...

Global site tag (gtag.js) - Google Analytics