RPC HBaseServer

HBaseServer：

一个请求发送的数据是：数据的长度（int类型，不包括本身） + call id（int类型） + call的内容

  （1）Listener 监听连接请求，来了新的Connection，按照round robin方式选择一个Reader，由这个Reader来读取解析这个Connection上面的call。

          Reader 数量由ipc.server.read.threadpool.size来配置（默认10）。

          Reader 发现某个Connection上面可读，就读取该连接上面的数据，一个一个call的数据读取出来。每当读取到一个call的数据后会解析出来，放到相应的CallQueue。

          在解析call之前有个检查操作：如果当前call的大小+callQueueSize > maxQueueSize的话，会拒绝该call，返回callTooBig，让Client过会重试。Server端积累了比较多的请求还未处理，Server的一种自我保护。

          https://issues.apache.org/jira/browse/HBASE-5190

          解析出来call之后，callQueueSize增加相应的值，然后判断call应该放到那个队列，在put到相应的队列。put的时候可能会阻塞，因为这个队列是LinkedBlockingQueue，这个队列最大的容量是                                                                       

            this.conf.getInt("ipc.server.max.callqueue.length", handlerCount * DEFAULT_MAX_CALLQUEUE_LENGTH_PER_HANDLER);

  （2）Handler 从相应的callQueue里面take call出来并进行处理

          有几种Handler，并且可以设置不同的数量。priorityHandler、handler、ReplicationHandler

          处理完了后，返回结果包装成 HbaseObjectWritable （WritableRpcEngine.Server.call），即使返回结果是null 也会返回一个Response

          处理完的call Handler会把它放到responseQueue里面。在放到responseQueue之前会检查responseQueuesSize，如果超过一定的值就会block

          放到responseQueue去了之后，会判断下当前responseQueue里面call的数量，如果只有一个那么把这个call的response发送到client端去，最多发送NIO_BUFFER_LIMIT这么多数据，如果结果超过了这个值，那么剩余的结果由Responder线程去发送

     如果当前responseQueue的数量超过1，那么Handler就不管了，直接返回，该call完全处理完了。

  （3）Responder 处理responseQueue里面的call，把response发送到client端。

responseQueue 各个Connection 是分开的。

可以监控Connection 的数量，各个Connection上面有多少未处理完的call，responseQueue 有多大。

  

facebook的版本：

（1）Reader 数 默认是 cpu 数+1

（2）Reader 线程并不解析call，它读取到一个call请求后，封装成RawCall，放入callQueue队列。

（3）Handler 线程从callQueue里面take一个RawCall，第一步就是parse（解析）出来call。

call的decode操作从Reader线程移到了Handler线程。

facebook的版本把call的decode操作从Reader线程移到Handler线程来做比较容易，是因为只有一种Handler，只有一个callQueue

http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf

Optimize the HBaseServer to deserialize the data for each ipc connection in parallel

https://issues.apache.org/jira/browse/HBASE-6103

port HADOOP-6713 - threading scalability for RPC reads - to HBase

https://issues.apache.org/jira/browse/HBASE-2941

Do no unregister and re-register interest ops in RPC

https://issues.apache.org/jira/browse/HBASE-6619

这3个issue社区版本都是已经解决了的