`
sunny96
  • 浏览: 7525 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论
文章列表
0.92版本对于HBase有了很大的改进,这里从问题单逐渐分析0.92版本的新特性。从特性看0.92维护功能得到了显著的提高: HBASE-2233 支持hadoop的0.20,0.21以及0.22版本。 HBASE-3839 在WebUI上显示进程的处理状态 HBASE-3837 在WebUI上显示RIT的状态 HBASE-3836 实时跟踪进展的处理任务以及工作流 HBASE-4240 把Master的均衡算法做成了插件,可以自己开发均衡算法适应不同的应用场景。目前算法存在比较多的缺点, HBASE-4281 增加能力获取执行器的状态 HBASE-4292 增加dump servlet的能力 ...

性能调优(2)

第二章:集群参数的配置 1. zookeeper.session.timeout(默认3分钟) ZK的超期参数,默认配置为3分钟,在生产环境上建议减小这个值在1分钟或更小。 设置原则:这个值越小,当RS故障时Hmaster获知越快,Hlog分裂和region 部署越快,集群 ...

Hbase的性能调优

这里有一些关于性能调优参数的总结和说明,其中有一些自己的经验以及参数书籍《HBase The definitive Guide》: 第一章:GC的相关参数配置 1.swap的设置:   我们需要关闭操作系统的swap或是设置swappiness为0,推荐设置为0,这样只有在物理内存不够的情况下才会使用交换分区。这个参数设置是由于JVM虚拟机如果使用了swap在 GC回收时会花费更多的时间,会导致Region server 与ZK 连接超期,Hmaster会认为Region server已经故障,然后开始分裂HLog和重新分配Region,即使Region server完成GC后,再次上报 信息 ...
Hbase的Memstore固化为Hfile的主要触发条件为三个: 1、Hlog的存储文件数目达到上限32(默认配置),一个Hlog的大小默认配置为HDFS的block的95%,这样的话,假定HDFS的块大小为64M,32个文件的话,可以存储的数据量为2G左右。 如果当Hlog的数据达到这个值后,会根据seqid把一些老的region 固化到Hfile中。 2、Memstore的大小设置为64M(默认配置),如果大于这个值则触发Flush的操作,大于64*3时,这个region将阻止put的写入操作。 3、RS上的内存达到内存配置下限0.35(hbase.regionserver.globa ...
Global site tag (gtag.js) - Google Analytics