`

hbase rs启动的内存要求

阅读更多

hbase rs启动的内存要求

 

1-hbase.regionserver.global.memstore.upperLimit-hfile.block.cache.size<=(HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD = 0.2f)

也就是memstore和blockcache要小于等于heap的80%

private static void checkForClusterFreeMemoryLimit(Configuration conf) {
      float globalMemstoreLimit = conf.getFloat("hbase.regionserver.global.memstore.upperLimit", 0.4f);
      int gml = (int)(globalMemstoreLimit * CONVERT_TO_PERCENTAGE);
      float blockCacheUpperLimit =
        conf.getFloat(HConstants.HFILE_BLOCK_CACHE_SIZE_KEY,
          HConstants.HFILE_BLOCK_CACHE_SIZE_DEFAULT);
      int bcul = (int)(blockCacheUpperLimit * CONVERT_TO_PERCENTAGE);
      if (CONVERT_TO_PERCENTAGE - (gml + bcul)
              < (int)(CONVERT_TO_PERCENTAGE *
                      HConstants.HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD)) {//1-0.4-0.4<0.2 设置的刚好在边缘,呵~
          throw new RuntimeException(
            "Current heap configuration for MemStore and BlockCache exceeds " +
            "the threshold required for successful cluster operation. " +
            "The combined value cannot exceed 0.8. Please check " +
            "the settings for hbase.regionserver.global.memstore.upperLimit and " +
            "hfile.block.cache.size in your configuration. " +
            "hbase.regionserver.global.memstore.upperLimit is " +
            globalMemstoreLimit +
            " hfile.block.cache.size is " + blockCacheUpperLimit);
      }
  }

 

分享到:
评论

相关推荐

    HBase堆外内存测试

    ### HBase堆外内存测试详解 #### 一、HBase BlockCache概述 HBase的BlockCache是一种用于提高读取性能的重要机制,它主要用于缓存HFile的Block数据,以减少磁盘I/O操作,从而加快读取速度。BlockCache分为两种类型...

    安装HBase,并启动运行

    在本教程中,我们将深入探讨如何在Linux环境中安装和配置HBase,以及如何启动和停止HBase服务。HBase是一个分布式的、版本化的、可扩展的NoSQL数据库,它构建在Hadoop之上,用于处理大规模的数据存储。 首先,我们...

    hbase启动说明和python脚本

    在本文中,我们将深入探讨HBase的启动过程以及如何利用Python进行操作,同时结合Hadoop的相关知识。HBase是Google Bigtable的一个开源实现,是一个分布式、版本化、面向列的NoSQL数据库,常用于大数据存储。它构建在...

    生产环境里的堆外内存HBase读路径——阿里巴巴的故事

    Yu Li explains how Alibaba met the challenge of tens of millions requests per second to its Alibaba-Search HBase cluster on 2016 Singles' Day. With read-path off-heaping, Alibaba improved the ...

    hbase配置内置的zookeeper

    完成以上配置后,在主服务器上启动 Hadoop 服务,使用命令 `start-all.sh`,然后在 HBase 的 `bin` 目录下使用 `start-hbase.sh` 命令来启动 HBase。 ##### 5. 验证服务状态 最后,通过 `jps` 命令来验证 Hadoop ...

    HbaseTemplate 操作hbase

    在IT行业中,尤其是在大数据处理领域,HBase是一个广泛使用的分布式、高性能、列式存储的NoSQL数据库。HBase是建立在Hadoop文件系统(HDFS)之上,为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data...

    hbase-shell批量命令执行脚本的方法

    批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell &lt;&lt;EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...

    windows中安装Hadoop与Hbase

    6. 启动Hbase:在Hadoop启动并运行正常后,Hbase才能被启动和使用。 7. HbaseShell:使用命令行接口与Hbase数据库交互,包括创建表、扫描表内容、获取一行数据、删除表以及关闭shell。 8. JavaAPIHbase:这部分...

    在windows上安装Hbase

    3. 启动HBase shell,使用bin/hbase shell命令。输入status命令以查看状态。 六、HBase的基本概念 HBase是一个分布式的、基于列模式的架构,在Apache Hadoop和Apache Zookeeper上数据库。它具有高性能、可扩展性和...

    hbase用于查询客户端工具

    REST Gateway是基于JAX-RS(Java API for RESTful Web Services)实现的,提供了标准的CRUD(Create, Read, Update, Delete)操作。 3. **Thrift Gateway**:Thrift是一个跨语言的服务框架,允许使用多种编程语言来...

    hbase安装包

    5. 启动HBase:执行`./bin/start-hbase.sh`命令启动所有HBase进程。 6. 检查HBase是否正常启动:可以通过Web UI(默认端口是60010)或者命令行工具`hbase shell`来验证。 在实际应用中,你可能还需要学习如何创建表...

    hbase-2.4.17-bin 安装包

    4. 启动HBase:运行`bin/start-hbase.sh`启动所有HBase服务,包括Master、RegionServer等。 三、HBase操作 1. 创建表:使用`hbase shell`进入命令行工具,执行`create '表名', '列族名'`创建表。 2. 插入数据:...

    huaweicloudDocs#mrs#HBase-version文件损坏导致启动失败1

    问题背景HBase启动失败。原因分析HBase启动时会读取hbase.version文件,但是日志显示读取存在异常。通过hadoop fs -cat /hbas

    HBase官方文档中文版-HBase手册中文版

    1. 监控指标:包括内存使用、磁盘I/O、网络流量等,通过JMX和Hadoop Metrics2提供。 2. 故障处理:Master节点和Region服务器的故障切换,数据的自动恢复。 七、HBase与其他系统集成 1. Hadoop集成:与HDFS、...

    Hbase实验报告.pdf

    这通常是因为没有启动HBase服务或者环境变量配置不正确。解决方法是首先确保HBase服务正常运行,然后通过以下命令启动Shell: ```shell hbase shell ``` 如果出现错误,应检查Hadoop和HBase的配置文件,如`hbase-...

    hbase安装与使用

    2. **启动 HBase**:在根用户下启动 HBase 服务。 ```bash bin/start-hbase.sh ``` 3. **进入 HBase Shell**:启动完成后,可以通过命令 `bin/hbaseshell` 进入 HBase 命令行工具。 4. **验证数据**:在 HBase...

    hbase-2.3.5单机一键部署工具

    说明:使用外部zookeeper3.4.13之hbase2.3.5一键部署工具,支持部署、启动、停止、清除、连接,支持自定义服务端口,数据存储目录等功能,已在生产环境使用。 Options: deploy.sh build single 构建并启动一个hbase...

    Hbase权威指南(HBase: The Definitive Guide)

    - **高性能**:即使面对大量数据,HBase也能够保持快速的读写操作,这是因为其采用了一种特殊的内存缓存机制和高效的磁盘存储结构。 - **容错性**:通过数据复制和故障恢复机制,HBase能够在节点故障的情况下保证...

    在Ubuntu安装配置hbase

    - 在`hbase-env.sh`中,设置HBase的Java运行环境,比如内存分配: ``` export HBASE_OPTS="-Xmx1024m -Xms512m" ``` - 在`hbase-site.xml`中,定义HBase的一些核心属性,例如: ```xml &lt;name&gt;hbase....

    hbase zk异常启动不了.docx

    可能需要清除HBase的Master和RegionServer的内存状态,并重新初始化它们。这通常涉及停止HBase服务,清理HBase的临时目录(例如`/hbase/hbase.id`和`/hbase/.logs`),然后重启HBase服务。重启顺序通常是先ZooKeeper...

Global site tag (gtag.js) - Google Analytics