- 浏览: 7525 次
- 性别:
- 来自: 深圳
最近访客 更多访客>>
最新评论
-
sunny96:
HBase HBASE-3339 2 增加了一些协处理器的借口 ...
HBase0.92 新特性分析。
文章列表
0.92版本对于HBase有了很大的改进,这里从问题单逐渐分析0.92版本的新特性。从特性看0.92维护功能得到了显著的提高:
HBASE-2233 支持hadoop的0.20,0.21以及0.22版本。
HBASE-3839 在WebUI上显示进程的处理状态
HBASE-3837 在WebUI上显示RIT的状态
HBASE-3836 实时跟踪进展的处理任务以及工作流
HBASE-4240 把Master的均衡算法做成了插件,可以自己开发均衡算法适应不同的应用场景。目前算法存在比较多的缺点,
HBASE-4281 增加能力获取执行器的状态
HBASE-4292 增加dump servlet的能力 ...
第二章:集群参数的配置
1. zookeeper.session.timeout(默认3分钟)
ZK的超期参数,默认配置为3分钟,在生产环境上建议减小这个值在1分钟或更小。
设置原则:这个值越小,当RS故障时Hmaster获知越快,Hlog分裂和region 部署越快,集群 ...
Hbase的性能调优
- 博客分类:
- hbase
这里有一些关于性能调优参数的总结和说明,其中有一些自己的经验以及参数书籍《HBase The definitive Guide》:
第一章:GC的相关参数配置
1.swap的设置:
我们需要关闭操作系统的swap或是设置swappiness为0,推荐设置为0,这样只有在物理内存不够的情况下才会使用交换分区。这个参数设置是由于JVM虚拟机如果使用了swap在
GC回收时会花费更多的时间,会导致Region server 与ZK 连接超期,Hmaster会认为Region server已经故障,然后开始分裂HLog和重新分配Region,即使Region server完成GC后,再次上报
信息 ...
关于Memstore的大小设置一点经验。
- 博客分类:
- hbase
Hbase的Memstore固化为Hfile的主要触发条件为三个:
1、Hlog的存储文件数目达到上限32(默认配置),一个Hlog的大小默认配置为HDFS的block的95%,这样的话,假定HDFS的块大小为64M,32个文件的话,可以存储的数据量为2G左右。 如果当Hlog的数据达到这个值后,会根据seqid把一些老的region 固化到Hfile中。
2、Memstore的大小设置为64M(默认配置),如果大于这个值则触发Flush的操作,大于64*3时,这个region将阻止put的写入操作。
3、RS上的内存达到内存配置下限0.35(hbase.regionserver.globa ...