-
hbase.regionserver.handler.count (hbase-site.xml)
默认值:10
参数说明:每个Region Server上的RPC Handler的数量,提升RPC Handler的数量可以一定程度上提高HBase在处理大量并发时接收请求的能力
- HBASE_HEAPSIZE(hbase-env.sh)
默认值:1000M
参数说明:HBase对内存的消耗比较大,默认的内存分配太小了,建议将内存总大小的一半分配给HBASE_HEAPSIZE
- HBASE_OPTS(hbase-env.sh)
默认值:UseConcMarkSweepGC
参数说明:UseConcMarkSweepGC为并发收集器,并发收集在应用运行时进行收集,所以必须保证收集完成之前有足够的内存空间供程序使用,否则会出现“Concurrent Mode Failure”
默认触发GC的时机是当年老代内存达到90%的时候,调整到70%~80%左右会比较好-XX:CMSInitiatingOccupancyFraction=<N>指定还有多少剩余堆时开始执行并发收集。
主要是为了避免发生Full GC
参考文章:http://hi.baidu.com/jiangyangw3r/item/402dc1abec3b859e15107383 -
hbase.hregion.memstore.mslab.enabled
(hbase-site.xml)
默认值:
在0.94版中(当前使用)默认值是 false,
在0.92版中(当前使用)默认值是 true,
在0.90版中(当前使用)默认值是 false
参数说明:
设置为true时,可以减少因内存碎片导致的Full GC,提高整体性能。
原理:
相当于预先分配内存,避免每一个值都要从堆里分配内存,减少内存碎片,默认会分配2MB大小的chunk(可以通过hbase.hregion.memstore.mslab.chunksize
设定chunk的大小)在每个region上,当chunk满时会进行flush。
但是也需要考虑mslab的大小= regions * number of column families * 2MB ,对于region数量过多会导致占有比较多的内存,是否会影响到应用的性能问题,这可能是导致apache官方对这个参数的默认值进行修订的原因
官方解释:
相关推荐
"HBase性能优化" HBase是一种高性能的NoSQL数据库,广泛应用于大数据存储和处理领域。然而,HBase的性能优化是非常重要的,特别是在大...HBase性能优化是非常重要的,需要根据实际情况调整各种参数和配置来提高性能。
然而,在生产环境中,HBase的读写性能优化是一个比较复杂的问题,尤其对于读延迟的优化更是需要精心设计和调优。下面我们将根据标题和描述中提到的关于HBase读性能优化策略进行详细的知识点阐述。 首先,FullGC异常...
综合来看,HBase性能优化是一个涉及多个层面的复杂过程。它需要开发者对HBase架构和其运行机制有深刻的理解,同时也需要对具体业务场景有充分的认识,才能进行合理的设计和有效的优化。本知识点内容对初学者而言是一...
在HBase性能优化的过程中,表设计和RowKey的设计是至关重要的。预分区是表设计的一个重要环节,目的是避免因表的自动split导致的资源消耗和性能影响。预分区可以根据业务需求预先设定rowkey的范围,比如在例子中,...
本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...
### HBase性能优化知识点汇总 #### HDFS优化 - **存储机制**: HBase使用HDFS存储WAL(Write-Ahead Log)和HFiles。默认情况下,HDFS不会实时同步数据到磁盘,而是写入临时文件后移动到最终位置,导致在断电情况下...
——HBase性能优化 1、从配置角度优化 1.1 修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行,你...
在HBase中,性能优化是确保大数据平台高效运行的关键步骤。本文主要关注应用程序设计与开发层面的优化策略,包括表的设计、写表操作、读表操作以及数据计算。以下是具体的优化点: 1. **表的设计** - **Pre-...
### HBase性能深度分析 HBase,作为BigTable的一个开源实现,因其...未来,针对HBase的性能优化,可以从调整上述参数配置、优化数据写入模式、强化集群资源管理等方面入手,以满足不同场景下的高效率数据处理需求。
在HBase性能优化中,有两个关键的配置参数需要关注:`hbase.hregion.max.filesize`和`autoflush`设置。这些参数对HBase的写入性能、数据一致性和系统稳定性有显著影响。 1. `hbase.hregion.max.filesize`的设定: ...
《基于机器学习的HBase配置参数优化研究》这篇文章探讨了一个重要的议题:如何利用机器学习技术对HBase数据库系统的配置参数进行优化。HBase是一个广泛应用于大数据处理的分布式数据库管理系统,尤其适用于需要快速...
然而,在实际应用中,HBase 的性能优化变得至关重要。本文档旨在总结 HBase 的优化方法,对项目中使用 HBase 的调优提供指导意义。 1. 修改 Linux 最大文件数 Linux 系统最大可打开文件数的默认参数值是 1024,...
理解何时和如何创建索引对于提升HBase性能至关重要。 7. **性能调优**:包括内存配置、Region大小调整、Compaction策略优化、BlockCache管理等,这些都能显著影响HBase的性能。 8. **容错和高可用性**:HBase通过...
为了优化HBase的性能和稳定性,适时调整其配置参数至关重要。本篇将深入探讨HBase参数修改的相关知识,旨在帮助Java开发者更好地理解和实践。 一、HBase基本概念 HBase是构建在Hadoop文件系统(HDFS)之上的分布式...
### Hadoop集群(第12期副刊)-HBase性能优化 #### 一、从配置角度优化HBase性能 **1.1 修改Linux配置** Linux系统默认的最大可打开文件数通常设定为1024个,这对于大多数应用场景来说可能足够,但在高并发环境下...
理解并合理调整这些参数对优化HBase性能至关重要。 通过这些资源,你可以深入理解HBase的工作原理,掌握配置优化技巧,并利用HBase的强大功能处理大规模数据。在实际应用中,还需要结合具体业务需求和硬件环境,...
7. **性能优化**:为了提高性能,HbaseTemplate允许批量操作,如批量插入或删除。通过构建Put或Delete对象列表,然后一次性提交,可以减少网络通信和HBase服务器的处理压力。 8. **异常处理**:在使用HbaseTemplate...