多region下的hbase写入问题

    最近在集群上发现hbase写入性能受到较大下降，测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境，单台regionserver服务了约3500个region。
    通过jstack工具检查到大半写入线程BLOCKED状态在"public synchronized void reclaimMemStoreMemory() {"这一行，这是在put之前的一个检查过程。
    hbase在每次put以前，需要检查当前regionserver上的memstore是否超过总memstore阀值，如果超过，需要block住当前的写入，防止OOM，代码片段见下：

/**
   * Check if the regionserver's memstore memory usage is greater than the
   * limit. If so, flush regions with the biggest memstores until we're down
   * to the lower limit. This method blocks callers until we're down to a safe
   * amount of memstore consumption.
   */
  public synchronized void reclaimMemStoreMemory() {
    if (isAboveHighWaterMark()) {
      lock.lock();
      try {
        while (isAboveHighWaterMark() && !server.isStopped()) {
          wakeupFlushThread();
          try {
            // we should be able to wait forever, but we've seen a bug where
            // we miss a notify, so put a 5 second bound on it at least.
            flushOccurred.await(5, TimeUnit.SECONDS);
          } catch (InterruptedException ie) {
            Thread.currentThread().interrupt();
          }
        }
      } finally {
        lock.unlock();
      }
    } else if (isAboveLowWaterMark()) {
      wakeupFlushThread();
    }
  }

    这是一个同步操作，其中isAboveHighWaterMark()的代码如下：

  private boolean isAboveHighWaterMark() {
    return server.getGlobalMemStoreSize() >= globalMemStoreLimit;
  }

    getGlobalMemStoreSize()里面的操作是遍历所有region，拿到每个region的memstore大小:

  public long getGlobalMemStoreSize() {
    long total = 0;
    for (HRegion region : onlineRegions.values()) {
      total += region.memstoreSize.get();
    }
    return total;
  }

    如果region数量很多就比较杯具了，在单台服务器3500个region的环境下通过btrace跟踪到这一步需要耗时0.4ms，也就是每一个put会block所有线程0.4ms，这样无法发挥出server端并行处理能力，同时可以计算出无论如何配置，写tps无法超过1000/0.4=2500!
    产生这个问题的根本原因是在0.90.x版本中，region无法拿到regionserver的信息，因此只能通过实时计算来得到rs上总的memstore大小。在0.92.0或trunk版本中修改了HRegion的数据结构，让HRegion在初始化时得到regionserver的信息，因此可以实时记录memstore的总大小，并让每个region对象能拿到该值，于是这个isAboveHighWaterMark()就不再block住所有线程了，在region较多的场景下写性能得到较大提升。
    参照https://issues.apache.org/jira/browse/HBASE-3694，可以以此patch为参考生成相应的0.90.x版本的patch

评论

11 楼 xGss2000 2014-09-23  

要是减少到300个 region，block就0.04s了。
话说3000多个region？多大的memstore？ 好大的内存。。。。

lc_koven 写道

杨俊华 写道

有没有考虑增大Region的大小。
3000个region太多了。
机器的内存多大？一个Region的大小是多少？

产生这个问题跟region大小无关，即使空region也能复现同样的问题。有的用户在实际生产中确实需要使用多个region，增加region可以减少应用的复杂度。

10 楼 lc_koven 2011-09-13  

bupt04406 写道

庄哥厉害，btrace怎么去跟踪运行时间的?

google之

9 楼 lc_koven 2011-09-13  

sunny96 写道

一个RS上的region不能够太多，如果太多会导致产生大大量小Hfile，增加compaction的压力。

这个是用户应用决定，我们无法控制。不过region数目跟compaction有什么联系呢？compact的触发条件是同一个region内数目达到一定数量，而跟region本身的数目无关。而且只要hdfs足够大，compact的影响可以忽略了。

8 楼 sunny96 2011-09-12  

一个RS上的region不能够太多，如果太多会导致产生大大量小Hfile，增加compaction的压力。

7 楼 bupt04406 2011-08-16  

庄哥厉害，btrace怎么去跟踪运行时间的?

6 楼 lc_koven 2011-08-16  

杨俊华 写道

有没有考虑增大Region的大小。
3000个region太多了。
机器的内存多大？一个Region的大小是多少？

产生这个问题跟region大小无关，即使空region也能复现同样的问题。有的用户在实际生产中确实需要使用多个region，增加region可以减少应用的复杂度。

5 楼 杨俊华 2011-08-16  

有没有考虑增大Region的大小。
3000个region太多了。
机器的内存多大？一个Region的大小是多少？

4 楼 yiihsia 2011-08-11  

有理有据，令人性福

3 楼 lc_koven 2011-08-11  

QiaoDuanni 写道

打了patch后的性能怎么样?

目前还在测试，不过在上述应用场景中，将region数目降到1000个/台，其它不变。tps翻了三倍

2 楼 QiaoDuanni 2011-08-11  

完全不理解这些踩的人啊.

1 楼 QiaoDuanni 2011-08-11  

打了patch后的性能怎么样?