`
zhao_rock
  • 浏览: 191435 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

HBase写性能优化之参数篇

阅读更多



 

  1. hbase.regionserver.handler.count (hbase-site.xml)
    默认值:10
    参数说明:每个Region Server上的RPC Handler的数量,提升RPC Handler的数量可以一定程度上提高HBase在处理大量并发时接收请求的能力

  2. HBASE_HEAPSIZE(hbase-env.sh)
    默认值:1000M
    参数说明:HBase对内存的消耗比较大,默认的内存分配太小了,建议将内存总大小的一半分配给HBASE_HEAPSIZE

  3. HBASE_OPTS(hbase-env.sh)
    默认值:UseConcMarkSweepGC
    参数说明:UseConcMarkSweepGC为并发收集器,并发收集在应用运行时进行收集,所以必须保证收集完成之前有足够的内存空间供程序使用,否则会出现“Concurrent Mode Failure”
    默认触发GC的时机是当年老代内存达到90%的时候,调整到70%~80%左右会比较好-XX:CMSInitiatingOccupancyFraction=<N>指定还有多少剩余堆时开始执行并发收集。
    主要是为了避免发生Full GC
    参考文章:http://hi.baidu.com/jiangyangw3r/item/402dc1abec3b859e15107383
  4. hbase.hregion.memstore.mslab.enabled (hbase-site.xml)
    默认值:
    在0.94版中(当前使用)默认值是 false,
    在0.92版中(当前使用)默认值是 true,
    在0.90版中(当前使用)默认值是 false
    参数说明:
    设置为true时,可以减少因内存碎片导致的Full GC,提高整体性能。
    原理:
    相当于预先分配内存,避免每一个值都要从堆里分配内存,减少内存碎片,默认会分配2MB大小的chunk(可以通过 hbase.hregion.memstore.mslab.chunksize 设定chunk的大小)在每个region上,当chunk满时会进行flush。
    但是也需要考虑mslab的大小= regions * number of column families * 2MB ,对于region数量过多会导致占有比较多的内存,是否会影响到应用的性能问题,这可能是导致apache官方对这个参数的默认值进行修订的原因
    官方解释:
             

  • 大小: 53.6 KB
0
0
分享到:
评论

相关推荐

    HBase的性能优化

    "HBase性能优化" HBase是一种高性能的NoSQL数据库,广泛应用于大数据存储和处理领域。然而,HBase的性能优化是非常重要的,特别是在大...HBase性能优化是非常重要的,需要根据实际情况调整各种参数和配置来提高性能。

    HBase最佳实践-读性能优化策略

    然而,在生产环境中,HBase的读写性能优化是一个比较复杂的问题,尤其对于读延迟的优化更是需要精心设计和调优。下面我们将根据标题和描述中提到的关于HBase读性能优化策略进行详细的知识点阐述。 首先,FullGC异常...

    hbase性能优化

    综合来看,HBase性能优化是一个涉及多个层面的复杂过程。它需要开发者对HBase架构和其运行机制有深刻的理解,同时也需要对具体业务场景有充分的认识,才能进行合理的设计和有效的优化。本知识点内容对初学者而言是一...

    Hbase性能优化百科全书(csdn)————程序.pdf

    在HBase性能优化的过程中,表设计和RowKey的设计是至关重要的。预分区是表设计的一个重要环节,目的是避免因表的自动split导致的资源消耗和性能影响。预分区可以根据业务需求预先设定rowkey的范围,比如在例子中,...

    Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化

    本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...

    HBase性能优化指南

    ### HBase性能优化知识点汇总 #### HDFS优化 - **存储机制**: HBase使用HDFS存储WAL(Write-Ahead Log)和HFiles。默认情况下,HDFS不会实时同步数据到磁盘,而是写入临时文件后移动到最终位置,导致在断电情况下...

    Hadoop集群(第12期副刊)_Hbase性能优化

    ——HBase性能优化 1、从配置角度优化 1.1 修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行,你...

    Hbase优化-参数优化

    在HBase中,性能优化是确保大数据平台高效运行的关键步骤。本文主要关注应用程序设计与开发层面的优化策略,包括表的设计、写表操作、读表操作以及数据计算。以下是具体的优化点: 1. **表的设计** - **Pre-...

    HBase性能深度分析

    ### HBase性能深度分析 HBase,作为BigTable的一个开源实现,因其...未来,针对HBase的性能优化,可以从调整上述参数配置、优化数据写入模式、强化集群资源管理等方面入手,以满足不同场景下的高效率数据处理需求。

    hbase性能优化.pdf

    在HBase性能优化中,有两个关键的配置参数需要关注:`hbase.hregion.max.filesize`和`autoflush`设置。这些参数对HBase的写入性能、数据一致性和系统稳定性有显著影响。 1. `hbase.hregion.max.filesize`的设定: ...

    基于机器学习的HBase配置参数优化研究.pdf

    《基于机器学习的HBase配置参数优化研究》这篇文章探讨了一个重要的议题:如何利用机器学习技术对HBase数据库系统的配置参数进行优化。HBase是一个广泛应用于大数据处理的分布式数据库管理系统,尤其适用于需要快速...

    hbase优化总结

    然而,在实际应用中,HBase 的性能优化变得至关重要。本文档旨在总结 HBase 的优化方法,对项目中使用 HBase 的调优提供指导意义。 1. 修改 Linux 最大文件数 Linux 系统最大可打开文件数的默认参数值是 1024,...

    Cloudera-HBase最佳实践及优化.zip

    理解何时和如何创建索引对于提升HBase性能至关重要。 7. **性能调优**:包括内存配置、Region大小调整、Compaction策略优化、BlockCache管理等,这些都能显著影响HBase的性能。 8. **容错和高可用性**:HBase通过...

    HBase参数修改 PDF 下载

    为了优化HBase的性能和稳定性,适时调整其配置参数至关重要。本篇将深入探讨HBase参数修改的相关知识,旨在帮助Java开发者更好地理解和实践。 一、HBase基本概念 HBase是构建在Hadoop文件系统(HDFS)之上的分布式...

    Hadoop 集群(第 12 期副刊)-HBase性能优化.pdf

    ### Hadoop集群(第12期副刊)-HBase性能优化 #### 一、从配置角度优化HBase性能 **1.1 修改Linux配置** Linux系统默认的最大可打开文件数通常设定为1024个,这对于大多数应用场景来说可能足够,但在高并发环境下...

    hbase_常用配置参数_以及学习笔记讲解_以及各种原理图.zip

    理解并合理调整这些参数对优化HBase性能至关重要。 通过这些资源,你可以深入理解HBase的工作原理,掌握配置优化技巧,并利用HBase的强大功能处理大规模数据。在实际应用中,还需要结合具体业务需求和硬件环境,...

    HbaseTemplate 操作hbase

    7. **性能优化**:为了提高性能,HbaseTemplate允许批量操作,如批量插入或删除。通过构建Put或Delete对象列表,然后一次性提交,可以减少网络通信和HBase服务器的处理压力。 8. **异常处理**:在使用HbaseTemplate...

Global site tag (gtag.js) - Google Analytics