sunny96
- 浏览: 7546 次
- 性别:
- 来自: 深圳
-
最近访客 更多访客>>
最新评论
-
sunny96：
HBase HBASE-3339 2 增加了一些协处理器的借口 ...
HBase0.92 新特性分析。
文章列表
0.92版本对于HBase有了很大的改进，这里从问题单逐渐分析0.92版本的新特性。从特性看0.92维护功能得到了显著的提高：
HBASE-2233 支持hadoop的0.20,0.21以及0.22版本。
HBASE-3839 在WebUI上显示进程的处理状态
HBASE-3837 在WebUI上显示RIT的状态
HBASE-3836 实时跟踪进展的处理任务以及工作流
HBASE-4240 把Master的均衡算法做成了插件，可以自己开发均衡算法适应不同的应用场景。目前算法存在比较多的缺点，
HBASE-4281 增加能力获取执行器的状态
HBASE-4292 增加dump servlet的能力 ...
第二章：集群参数的配置
1. zookeeper.session.timeout（默认3分钟）
ZK的超期参数，默认配置为3分钟，在生产环境上建议减小这个值在1分钟或更小。
设置原则：这个值越小，当RS故障时Hmaster获知越快，Hlog分裂和region 部署越快，集群 ...
Hbase的性能调优
- 博客分类：
- hbase
这里有一些关于性能调优参数的总结和说明，其中有一些自己的经验以及参数书籍《HBase The definitive Guide》：
第一章：GC的相关参数配置
1.swap的设置:
我们需要关闭操作系统的swap或是设置swappiness为0，推荐设置为0，这样只有在物理内存不够的情况下才会使用交换分区。这个参数设置是由于JVM虚拟机如果使用了swap在
GC回收时会花费更多的时间，会导致Region server 与ZK 连接超期，Hmaster会认为Region server已经故障，然后开始分裂HLog和重新分配Region，即使Region server完成GC后，再次上报
信息 ...
关于Memstore的大小设置一点经验。
- 博客分类：
- hbase
Hbase的Memstore固化为Hfile的主要触发条件为三个：
1、Hlog的存储文件数目达到上限32（默认配置），一个Hlog的大小默认配置为HDFS的block的95%，这样的话，假定HDFS的块大小为64M，32个文件的话，可以存储的数据量为2G左右。 如果当Hlog的数据达到这个值后，会根据seqid把一些老的region 固化到Hfile中。
2、Memstore的大小设置为64M（默认配置），如果大于这个值则触发Flush的操作，大于64*3时，这个region将阻止put的写入操作。
3、RS上的内存达到内存配置下限0.35（hbase.regionserver.globa ...