`
lc_koven
  • 浏览: 354085 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase-0.90.4的主要更新

 
阅读更多
    apache邮件列表中提到0.90.4己经准备release了,看了一下所有的patch,这个版本在性能改进上基本没有改进,主要是对很多异常下bug的修复,其中比较重要的bug有以下几个:
1 https://issues.apache.org/jira/browse/HBASE-3820 ----Splitlog() executed while the namenode was in safemode may cause data-loss
    在执行splitlog的时候,如果namenode因为未知原因进入safemode,可能导致数据丢失,需要先检查并等待safemode结束

2 https://issues.apache.org/jira/browse/HBASE-3914 ----ROOT region appeared in two regionserver's onlineRegions at the same time
    root region有可能被分配给两台region server(条件:当root 所在的rs挂掉,master在assign的时候也正好挂掉)

3 https://issues.apache.org/jira/browse/HBASE-3892 ----Table can't disable
    在split期间执行disable table有可能会导致无限期挂起,实际应用中这会比较危险。比如管理员在做ddl操作时可能会因为这个bug引起table不可用时间变得很长

4 https://issues.apache.org/jira/browse/HBASE-3988 ----Infinite loop for secondary master
    seconde master无法自动接管primary master的bug

5 https://issues.apache.org/jira/browse/HBASE-3969 ----Outdated data can not be cleaned in time
    当compaction队列过长时,有可能因为队列优先级问题导致一些major compaction任务长期无法执行。patch的提供者遇到过好几次超过2天还没有执行一个major compaction任务。因此做了优先级的调整

6 https://issues.apache.org/jira/browse/HBASE-4028 ----Hmaster crashes caused by splitting log.
    Hmaster在splitlog时对内存的计算在多线程下统计不准确,从而最终导致无法控制内存而oom

7 https://issues.apache.org/jira/browse/HBASE-3906 ----When HMaster is running,there are a lot of RegionLoad instances(far greater than the regions),it has risk of OOME.
    减少hmaster启动时候的无谓的内存消耗,patch提供者在实际应用中减少了3GB的内存。(值得注意的是这个patch的提供者是华为的兄弟)

    其它还有很多修复的bug都是在比较特殊情况下产生的,通常是没有检查对象为空而引起的npe,比如4088等。由这点看出来分布式系统设计的难度还是很高的,一个完整的程序需要不断地fix bug...
分享到:
评论

相关推荐

    HBASE-0.90.4

    HBASE-0.90.4 安装过程以及常见问题

    hbase-0.90.4

    HBase 0.90.4是其历史版本,尽管现在已经有更新的版本,但这个版本仍具有研究价值,它见证了HBase从早期到成熟的发展历程。 首先,HBase的设计理念是基于Google的Bigtable论文,旨在为Hadoop生态系统提供实时的、...

    clojure-hbase-schemas:基于架构的HBase交互

    最新版本是: com.compasslabs/clojure-hbase-schemas "0.90.4"描述引入了两个主要功能:模式和约束。 模式是指示HBase操作的数据编码/解码的类型模板。 约束导致对Gets和Scans的方法调用,以及将适当的筛选对象集...

    hbase jar包

    commons-lang-2.6-sources.jar commons-logging-1.1.1.jar hadoop-core-0.20.2-cdh3u2.jar hbase-0.90.4-cdh3u2.jar hbase-0.94.13.jar log4j-1.2.16.jar zookeeper-3.3.3-cdh3u2.jar

    hive和hbase整合

    <value>file:///usr/lib/hive/lib/hive-hbase-handler-0.7.1-cdh3u3.jar,file:///usr/lib/hbase/hbase-0.90.4-cdh3u3.jar,file:///usr/lib/zookeeper/zookeeper-3.3.4-cdh3u3.jar,file:///usr/lib/hbase/lib/guava-...

    HBase0.90.4_API.chm

    HBase API chm hadoop 分布式 java HBase0.90.4_API.chm

    Java操作Hbase进行建表、删表以及对数据进行增删改查

    新建一个 Java 项目,然后添加相关的 jar 包,包括 hadoop-core-0.20.204.0.jar、hbase-0.90.4.jar、hbase-0.90.4-tests.jar 以及 Hbase 资源包中 lib 目录下的所有 jar 包。 ### 2. 主要程序 下面是一个 Java ...

    hbase_shell操作命令

    `version` 命令显示HBase的当前版本信息,例如 `hbase(main):025:0>version` 返回 `0.90.4, r1150278,Sun Jul 24 15:53:29 PDT 2011`,表明版本为0.90.4。 3. **数据操作** - **创建表**:`create '表名称', '列...

    C++访问操作读写Hbase[参考].pdf

    本文主要介绍如何利用C++通过Thrift实现对Hbase的读写操作。以下是详细步骤: 1. **安装Thrift** 安装Thrift通常需要解决一些依赖问题。首先,确保系统中安装了libevent和boost库。libevent可以从monkey.org/~...

Global site tag (gtag.js) - Google Analytics