`
kirayuan
  • 浏览: 39777 次
文章分类
社区版块
存档分类
最新评论

hbase入库过程中JVM 新生代大小配置试验

 
阅读更多

hbase入库过程中,除了hbase-site.xml中的一些常见的配置参数,其实很关键的一个环节是hbase-env.sh中的jvm参数配置。之前修改的一个重要参数就是新生代的大小。

在大规模写入数据的试验中,我们分别将每个Regionserver的新生代内存配置为不同大小(总大小为32GB),入库一段时间后,通过jstat命令查看每台机器的三个运行状态,YGC,FGC,GCT,绘制出以下性能图形:(横轴为新生代内存配置大小,纵轴分别为三个参数的实际取值,GCT单位秒,YGC,FGC单位为次)

对于图中所显示的,yong gc次数随着新生代内存的增加显著下降,而fullGC也略为下降,总的GC时间在下降后又回升,4的位置达到最低点。

由于进行海里数据入库时,RegionServer端的内存只是作为memstore来缓存和组织数据,最终大部分的数据都还是要刷到硬盘上。所以就决定了这种场景下内存中的旧有对象需要被尽快释放。而新生代是最适合存放这些临时性对象,能够很快被minor gc回收。不过并不是新生代越大越好用,如果新生代过大,虽然gc的yong gc的频度下降,不过消耗的时间相应也上升。所以,依据试验中GCT最小的情况来选择一个合理的参数是比较适合的。

分享到:
评论

相关推荐

    Hbase几种入库方式

    Hbase 入库是指将数据从外部数据源加载到 Hbase 中的过程。Hbase 提供了多种入库方式,每种方式都有其特点和优缺点。本文将对 Hbase 的几种入库方式进行比较,帮助读者选择合适的入库方式。 1. 预先生成 HFile 入库...

    Hbase配置所需要的配置文件.zip

    以下是对"**Hbase配置所需要的配置文件.zip**"中可能包含的配置文件及其作用的详细解释: 1. **hbase-site.xml**: 这是HBase的主要配置文件,包含了HBase集群的全局配置参数。例如,你可以在这里设置`hbase.rootdir...

    Ubuntu16.04下Hbase集群模式的本地安装与配置.docx

    在 Hbase 中,需要将 Hadoop 的配置文件 core-site.xml 和 hdfs-site.xml 软连接到 Hbase 的配置目录下。这可以使 Hbase 能够正确地使用 Hadoop。 1. 创建软连接 使用 ln 命令可以创建软连接,并将 Hadoop 的配置...

    hbase配置内置的zookeeper

    通常情况下,HBase 可以与独立的 ZooKeeper 服务进行集成,但为了简化部署过程,特别是对于小型测试环境或开发环境,我们可以选择配置 HBase 内置的 ZooKeeper。 #### 二、配置步骤详解 ##### 1. 准备阶段 首先...

    hbase和zookeeper配置

    在 HBase 的配置文件 hbase-site.xml 中,我们需要定义一些重要的参数,例如根目录、主服务器、分布式集群和 ZooKeeper 信息。在我们的示例中,我们将根目录设置为 hdfs://hadoop01:9000/hbase,将主服务器设置为 ...

    HBase配置文件与HBase doc文档

    2. **hbase-env.sh**:这个脚本用于配置HBase的环境变量,如JVM参数(堆大小、GC设置等)和HBase进程的启动选项。 3. **regionservers**:列出集群中提供服务的RegionServer节点。 4. **masters**:如果配置了主备...

    HBase配置

    配置`hbase.regionserver.heapsize`和`hbase.master.heapsize`以设定RegionServer和Master的Java堆大小,根据集群规模适当调整。 7. **Region分裂策略** `hbase.hregion.max.filesize`定义一个Region的最大大小,...

    HBase配置文件

    在搭建Hadoop框架中的HBase集群之前,理解并熟悉HBase的配置文件是至关重要的步骤。HBase是一款基于Google Bigtable理念设计的开源分布式数据库,它构建于Hadoop之上,适用于处理海量数据。HBase提供了高可靠性、高...

    基于集群的HBase安装和配置

    ### 基于集群的HBase安装和配置 #### Zookeeper简介 Zookeeper作为Hadoop生态中的关键组件,主要用于提供高可用性和分布式协调服务。它能够有效地管理Hadoop集群中的各种资源和服务,例如Hadoop NameNode管理和...

    hbase 权限配置.docx

    HBase 权限配置是指在 HBase 中对用户的访问控制和权限管理。通过配置 HBase 权限,可以对不同的用户或组授予不同的权限,以确保数据的安全和可靠性。 一、HBase 权限配置的重要性 HBase 权限配置是非常重要的,...

    Hbase的安装过程及基本操作

    在本文中,我们将详细讲解Hbase的安装过程以及基本操作,特别针对在Linux环境下使用清华大学镜像进行下载的情况。Hbase是一个分布式的、面向列的数据库,常用于大数据存储,是Apache Hadoop生态系统的一部分。以下是...

    【HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!

    配置解释部分涉及对Linux系统参数、JVM配置、HBase运行参数的修改以及HBase中log4j日志的配置。 HBaseshell的基本用法包括创建表和列族、插入数据、按设计的表结构插入值、根据键值查询数据、扫描所有数据、删除...

    hbase安装与配置.docx

    在Linux环境下,构建基于Hadoop集群的Zookeeper和Hbase安装及配置是一项关键任务,因为这两个组件在大数据处理中扮演着重要角色。Hadoop生态系统中的HBase是一个分布式数据库,它建立在Hadoop集群的HDFS(Hadoop ...

    基于springboot集成hbase过程解析

    "基于SpringBoot集成HBase过程解析" SpringBoot集成HBase是当前大数据处理和存储解决方案中的一种常见组合。HBase是基于Hadoop的分布式、可扩展的NoSQL数据库,能够存储大量的结构化和非结构化数据。SpringBoot则...

    mapreduce方式入库hbase hive hdfs

    mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载

    nosql实验一-HBase的安装与配置.docx

    在本次实验中,我们将学习如何在Linux环境下,以伪分布式的方式安装和配置HBase,以及验证其安装是否成功。 一、实验目标 1. 掌握HBase的伪分布式安装过程。 2. 验证HBase的安装是否成功。 3. 使用Web UI管理界面...

    基于虚拟机集hbase1.2.1配置文件

    在该文件中,你可以调整JVM堆大小、设置HBase守护进程的启动用户、定义守护进程的内存限制等。例如: ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HBASE_OPTS="-Xmx4g -XX:+...

    Hadoop和Hbase 配置文件-完整好的

    2. `hbase-env.sh`: 这是一个shell脚本,用于设置HBase运行时的环境变量,如JVM内存大小(`HBASE_HEAPSIZE`)。 3. `regionservers`: 列出所有HBase的RegionServer节点,这些节点负责存储和处理数据。 4. `zoo.cfg...

    Hbase 官方中文文档

    HBase官方中文文档概述了Apache HBase TM的基本概念、配置方法、升级策略、shell使用、数据模型、架构设计、安全机制、API接口、性能调优以及故障排除等多方面的知识。HBase是一个开源的非关系型分布式数据库(NoSQL...

Global site tag (gtag.js) - Google Analytics