文章列表
这段时间刚做完一个hbase项目，存储千亿规模的数据，12台dell，5小时完成扫库。
这里主要是对hbase的数据本地化机制作了优化，本文不对细节作描述。
在后期使用的过程中，使用方发现hbase的随机读性能出现了较大的下降，经常出现单个 GET请求花费3-5秒的现象。这个事情困扰了我很久，因为从我的实验环境上是不可复现的。
实验环境和线上环境的主要区别是数据量和写压力：
实验环境百亿规模的数据，线上是千亿
实验环境基本上没有写压力，而线上随时有较大的写压力。
关于原因做了很多猜测，但是后来都被实验否定了，比如以为hdfs的性能不够，以为Meta Region的性能问题等等。
经过一段时间 ...
现象：
hbase机群重启后不能正常工作，通过web接口访问时，500 Exception的样子。hbase hbck显示很多region没有被服务。
重现过程：
某些情况下下，比如系统压力比较大，或者master意外kill掉了，master会被快速重启。
这个时候region server是正常的，region server会通过zookeeper感知这个事件，并将master切换到新的服务进程上。
但是region server没有做其他的清理工作，这会导致regionserver依然对hbase的journal log(/hbase/.logs/<FQHN>)文件保持写入权 ...