`
sunny96
  • 浏览: 7527 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

性能调优(2)

 
阅读更多
第二章:集群参数的配置
1. zookeeper.session.timeout(默认3分钟)
ZK的超期参数,默认配置为3分钟,在生产环境上建议减小这个值在1分钟或更小。
设置原则:这个值越小,当RS故障时Hmaster获知越快,Hlog分裂和region 部署越快,集群恢复时间越短。
          但是,设置这个值得原则是留足够的时间进行GC回收,否则会导致频繁的RS当机。
2、hbase.regionserver.handler.count(默认10)
设置原则:
对于大负载的put(达到了M范围)或是大范围的Scan操作,handler数目不易过大,易造成OOM。
对于小负载的put或是get,delete等操作,handler数要适当调大。
根据上面的原则,要看我们的业务的情况来设置。

3、HBASE_HEAPSIZE 大小设置
设置原则:
a. HBASE_HEAPSIZE 包括三部分内容:Memstoresize 40%(默认) blockcache 20% 以及StoreIndex(这需要根据硬盘容量算出)。
b. GC回收的时间不要超过zk session的时间。

4.选择使用压缩算法,目前HBase默认支持的压缩算法包括GZ,LZO以及snappy(0.92版本已经支持,BSD license)
Algorithm     % remaining Encoding  Decoding
GZIP           13.4%      21 MB/s   118 MB/s
LZO            20.5%      135 MB/s  410 MB/s
Zippy/Snappy   22.2%      172 MB/s  409 MB/s
根据你产品的情况选取这里压缩算法或是使用其他压缩算法。

5.hbase.hregion.max.filesize 默认256M
关于Region Size的设置,参考另外一篇博客。
设置原则:
a、Region server 上活跃的region不能太多100个左右,且也不要太少会导致并发度不大。
b、在region设置比较大时,例如每个region达到100G时,需要手动进行对热点region进行split或是对于不经常活跃的进行merge

6.hbase.hregion.memstore.block.multiplier 默认2
设置原则:
如果内存足够的,可以适当设置大这个值,当memstoresize 大于 flush size limit*multiplier时会阻塞客户的put操作。如果出现这种情况多数原因是由于compaction队列不能够及时处理
导致的。

7.hbase.hstore.blockingStoreFiles 默认7
设置原则:
这个值设置比较大,会增加客户端的负载处理能力,但是如果你的服务器一直处于一个高的水平,那说明你的机器已经达到性能瓶颈,需要其他方式解决
分享到:
评论

相关推荐

    Infomatica 性能调优2

    ### Infomatica性能调优2 #### 一、性能调优概述 在《Infomatica性能调优2》中,主要介绍了如何优化Infomatica工具的性能,使其更高效地处理数据集成任务。该文档强调了针对不同版本的Infomatica(如PowerMart/...

    DB2 SQL性能调优秘笈

    ### DB2 SQL性能调优秘笈 在数据库领域,IBM DB2因其稳定性和高效性而备受推崇,尤其是在大型企业级应用中。对于DB2数据库管理员(DBA)来说,掌握有效的SQL性能调优技巧至关重要。这不仅能提升系统的响应速度,还...

    阿里巴巴Java性能调优实战(2021华山版)

    阿里巴巴Java性能调优实战(2021华山版) 本资源摘要信息来自阿里巴巴Java性能调优实战(2021华山版),旨在帮助Java开发者掌握性能调优的实战经验和技术。 性能调优的重要性 性能调优是软件开发中一个非常重要的...

    SAP ABAP程序性能调优介绍.pptx

    SAP ABAP 程序性能调优介绍 SAP ABAP 程序性能调优是指通过对程序的优化来提高 SAP 系统的性能。性能调优是 SAP 系统管理员和开发人员的重要任务之一,因为它可以直接影响到用户的体验和业务的效率。 用户交互过程...

    DB2SQL性能调优秘笈

    资源名称:DB2 SQL性能调优秘笈资源截图: 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。

    360°全方面性能调优.pdf

    《360°全方面性能调优.pdf》这份文档是一份针对Android平台进行性能调优的详细指南。文档中包含了从设计思想、代码质量优化到程序性能优化,再到开发效率优化的全面内容。 在设计思想与代码质量优化方面,文档详细...

    阿里巴巴Java性能调优实战(2021-2022华山版)+Java架构核心宝典+性能优化手册100技巧.rar

    阿里巴巴Java性能调优华山版是一套系统性能调优教程,!通过这份笔记的学习,你将会有一个系统的调优头脑和策略!快了何止100%?需要的朋友可下载试试! 众所周知性能调优可以使系统稳定,用户体验更佳,甚至在...

    MySQL性能调优与架构设计(pdf高清)

    MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计MySQL性能调优与架构设计

    Oracle性能调优.pdf

    Oracle性能调优 Oracle性能调优 Oracle性能调优 Oracle性能调优 Oracle性能调优 Oracle性能调优 Oracle性能调优

    linux性能调优.pdf

    Linux性能调优是系统管理员和开发人员优化Linux系统性能的重要技能。它涉及对系统资源和应用程序的分析、监控、和调整,以实现更高的效率和响应速度。本篇学习笔记详细介绍了性能分析的步骤、优化工具、性能指标的...

    Oracle 性能调优的基本方案

    Oracle 性能调优的基本方案 Oracle 性能调优是数据库管理员和开发者非常关心的问题。为了确保数据库的高效运行,需要对 Oracle 性能进行调优。本文将对 Oracle 性能调优的基本方案进行概述,并介绍了该方案的八个...

    MySQL性能调优与架构设计.pdf

    "MySQL性能调优与架构设计.pdf" 本资源摘要信息是关于 MySQL 数据库软件的性能调优和架构设计的知识点。MySQL 是一个流行的开源数据库管理系统,具有简单高效可靠的特点,广泛应用于各个行业。以下是从给定的文件中...

    阿里巴巴java性能调优实战手册

    "阿里巴巴java性能调优实战手册" 本手册旨在为Java开发者提供一份实践性的性能调优指南,帮助他们解决在实际项目中遇到的性能问题。作者通过自己的经验和实践,总结了Java性能调优的重要性和必要性,并分享了自己的...

    阿里巴巴Java性能调优实战(2021华山版).pdf

    阿里巴巴Java性能调优实战

    JVM系列之性能调优参考手册(实践篇).pdf

    标题《JVM系列之性能调优参考手册(实践篇)》涉及的知识点主要集中在Java虚拟机(JVM)性能调优的实践操作。JVM作为Java程序运行的基础环境,对程序性能有着决定性影响。本手册的目的是指导开发者如何对JVM进行性能...

    MySQL性能调优与架构设计 PDF图书 百度网盘下载链接

    MySQL性能调优与架构设计 PDF图书MySQL性能调优与架构设计 PDF图书

    Java性能调优 6步实现项目性能全面升级+面试高频性能问题讲解.rar

    Java性能调优 6步实现项目性能全面升级+面试高频性能问题讲解视频教程分享,性能优化的N种企业级解决方案,囊括了【数据库优化】、【Tomcat优化】、【JVM优化】、【垃圾回收】、【Netty优化】、【Nginx优化】、...

    ORACLE DBA工作笔记 运维数据迁移与性能调优

    2. 性能调优的策略和方法,包括监控数据库性能指标,分析SQL语句的执行计划,调整数据库的内存参数和配置文件等。 3. Oracle数据库的架构和存储结构,例如表空间、段、数据块等概念,对这些基础概念的深入理解对于...

Global site tag (gtag.js) - Google Analytics