hbase中的缓存的计算与使用

 

    hbase中的缓存分了两层：memstore和blockcache。

 

    其中memstore供写使用，写请求会先写入memstore，regionserver会给每个region提供一个memstore，当memstore满64MB以后，会启动flush刷新到磁盘。当memstore的总大小超过限制时（heapsize * hbase.regionserver.global.memstore.upperLimit * 0.9），会强行启动flush进程，从最大的memstore开始flush直到低于限制。

 

    blockcache主要提供给读使用。读请求先到memstore中查数据，查不到就到blockcache中查，再查不到就会到磁盘上读，并把读的结果放入blockcache。由于blockcache是一个LRU,因此blockcache达到上限(heapsize * hfile.block.cache.size * 0.85)后，会启动淘汰机制，淘汰掉最老的一批数据。

 

    一个regionserver上有一个blockcache和N个memstore，它们的大小之和不能大于等于heapsize * 0.8，否则hbase不能启动。默认blockcache为0.2，而memstore为0.4。对于注重读响应时间的系统，应该将blockcache设大些，比如设置blockcache=0.4，memstore=0.39。这会加大缓存命中率。