这里有一些关于性能调优参数的总结和说明,其中有一些自己的经验以及参数书籍《HBase The definitive Guide》:
第一章:GC的相关参数配置
1.swap的设置:
我们需要关闭操作系统的swap或是设置swappiness为0,推荐设置为0,这样只有在物理内存不够的情况下才会使用交换分区。这个参数设置是由于JVM虚拟机如果使用了swap在
GC回收时会花费更多的时间,会导致Region server 与ZK 连接超期,Hmaster会认为Region server已经故障,然后开始分裂HLog和重新分配Region,即使Region server完成GC后,再次上报
信息给Hmaster时,Hmaster也会抛YouAreDead的异常给Region server和让它退出服务, 所以这个参数的配置是一个必须条件。
2.GC回收采用并行增量式的方式,目前在0.90的默认配置,以我的经验在这个配置下我们目前还没有发现由于full GC的情况。 按照社区给的意见大概1G的内存的如果Full GC可能需要10s中的时间
所以我们要设置ZK的session时长和内存大小到一个比较合适的值,减少因为full GC产生当机的情况。 另外,我们一定要注意一下参数:
-XX:CMSInitiatingOccupancyFraction=70
70为JVM的使用百分比,当达到这个阈值后将启动回收任务。这个值比较合适的值是要略大于memstoresize 40%+ blockcache 20%。
3、开启特性MLAB
MLAB特性是在分析了HBase产生内存碎片的根因后给出了解决方案,这个方案虽然不能够完全解决Full GC带来的问题,但是一定程度上延缓了full GC的产生间隔。MLAB在0.90版本默认是关闭的
在0.92版本是默认打开(92版本最近准备发布了,已经拉出分支来了)。 使用这个特性时,一定要注意如果keyvalue,如果这个值很大的情况要增加chunk值(目前默认2M)(待续)
分享到:
相关推荐
本文主要介绍HBase性能调优的几种常用方法,重点在于理解性能优化背后的核心概念及其应用。 ### Rowkey设计 Rowkey是HBase中每行数据的唯一标识,它的设计对于性能有着至关重要的影响。一个良好的Rowkey设计应当...
HBase性能调优.pdf HBase是一个开源的、分布式的、面向列的存储系统,广泛应用于大数据存储和处理领域。然而,HBase的性能调优是一件非常复杂和挑战性的任务,这需要深入了解HBase的架构和机理,以及相关的配置项和...
《HBase性能调优》 在HBase这样的分布式大数据存储系统中,性能调优是确保高效稳定运行的关键。本文将围绕HBase中的几个关键配置项展开讨论,包括Zookeeper的session超时时间、RegionServer的请求处理线程数、...
综上所述,HBase性能调优涉及多个层面,需要综合考虑业务需求、数据特性和系统资源,通过调整配置、优化数据操作方式和利用内置机制,来达到最佳性能。在实践中,还需要根据具体情况进行测试和监控,不断调整优化...
在HBase性能调优的过程中,有几个关键的配置参数和策略值得深入探讨。首先,我们要理解HBase的基本工作原理,它是基于Hadoop构建的分布式数据库,采用列式存储,支持大规模数据存储和高并发读写。在默认情况下,...
### HBase性能调优策略详解 #### 一、服务端参数配置优化 针对HBase的服务端性能调优,可以通过合理调整一系列关键参数来提升系统的稳定性和效率。下面将详细介绍几个核心参数及其调优方法。 ##### 1. `hbase....
HBase性能调优方法。因官方BookPerformanceTuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 因官方...
本文将深入探讨HBase性能优化的各种策略,旨在帮助你提升数据操作的效率。 一、硬件优化 1. **磁盘选择**:HBase对I/O性能要求较高,因此推荐使用SSD硬盘,以减少读写延迟。 2. **内存配置**:合理分配HBase的堆...
真的是实战经验才能得出来的结果,如果你想深入了解hbase的性能,这个真的对你会有很大的帮助
"大数据性能调优之HBase的RowKey设计" 大数据功能调优之HBase的RowKey设计是指在HBase中对RowKey的设计,以...RowKey设计是HBase性能调优的重要方面,良好的RowKey设计可以提高HBase的存储效率、检索效率和系统性能。
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。与FUJITSU Cliq等商用大数据产品不同,HBase是Google Bigtable...
HBase性能调优 HBase是一种分布式、面向列的NoSQL数据库,作为Hadoop生态系统的一部分,HBase可以对大规模数据进行存储和处理。然而,HBase的性能调优是非常重要的,否则可能会导致性能下降,影响应用程序的运行...
5. **性能调优**:`hbase.client.operation.timeout`和`hbase.rpc.timeout`定义了操作和RPC超时时间,防止长时间阻塞。`hbase.region.split.policy`选择合适的分裂策略,如`ConstantSizeRegionSplitPolicy`或`...
- 当Solr构建在HBase之上时,还需要考虑HBase的性能调优策略,以确保整个系统的高效运行。 ##### 12.8.4 Solr over HDFS调优建议 - 类似地,当Solr使用HDFS作为底层存储时,也需要注意HDFS的性能调优,以保证数据...
优化JVM堆内存大小(HEAPSIZE),采用不同的垃圾收集策略和参数(例如-Xcompressedrefs、-XtlhPrefetch、-XlockReservation、-Xgcpolicy:gencon、-Xgcthreads),以及选择适合的JDK版本,这些都是提升HBase性能的...
### HBase性能深度分析 HBase,作为BigTable的一个开源实现,因其卓越的分布式数据库特性在大数据处理领域占据了重要地位。然而,随着HBase在各行业的广泛应用,用户对其性能表现的关注日益增强,尤其是实时数据...