看facebook分享hbase经验的笔记

 

http://www.qconbeijing.com/download/Nicolas.pdf

重点看了下facebook做了哪些改进以及他们的运维经验，比较重要的有以下几点：

 

改进：

1 加强了行级的ACID约束

2 改善了数据的分布规则，可以配置hdfs的replicas所在节点

3 改写了master的assign规则，利用zk来进行assign

4 不用停机地重启cluster

5 改进了compaction策略

6 批量查询的优化

7 对压缩进行了改进

 

运维经验：

1 事先切分好的region，控制region数目以及split的时机

 

另外，对dark lanch是怎样做的比较感兴趣

评论

1 楼 wangjinpeng 2011-11-12  

事先切分好的region，控制region数目以及split的时机

这条觉得非常赞同，如果可以预先定义好region的rowkey range，然后尽量避免split，控制split的时机，split对吞吐量的影响比较大。

Compaction策略的确需要改变，如果delete不是特别频繁，完全可以禁止掉major compaction，minor compaction可以经常做，不过可以对minor compaction的store file的准入条件进行更加严格的限制，使每次minor都是一些小文件合并为大文件，然后等到split的之前再进行一次major compaction，之后可以一下做一次或者多次split。 感觉这样系统的性能可控，不过这种情况下做一次split就会很恐怖。

compaction， split的策略真是很难做到十全十美啊~~~