HBase源码阅读-4-HMaster与HRegionServer的RPC

4.HMaster与HRegionServer的RPC
            启动master时创建一个Server的实例,利用反射机制提供HMaster的方法调用服务;Server继承自抽象类HBaseServer;
            HBaseServer通过异步io(nio包)提供了非阻塞的网络连接
            4.1 RPC Server的创建及启动过程
                (1)HBaseServer初始化参数:绑定地址,端口,调用队列大小,最大连接数,最大闲置连接数等    
                
                (2)创建Listener(继承自Thread)实例,使用ServerSocketChannel绑定到监听端口,并向Selector注册接受新连接事件
                    对新连接连接,因为采用异步方式处理,所以为新连接创建一个Connection的实例维持连接状态,并在Selector注册相应的读事件,以读取请求;
                    对读事件,获取对应的Connection对象,由readAndProcess方法读取并处理请求;
                    处理请求时,创建Call对象,包含连接和RPC调用的具体参数信息,放入一个队列中,等待处理;     
                    (一个连接Connection可能有多个Call？？？)
                    
                (3)创建10个Handler线程,互斥的从Call队列中取出Call的实例,传入参数调用call方法进行RPC调用(该方法由Server实现);
                将处理完成的结果放入Call对应Connection的回复队列中,并向Selector注册写回复请求
                
                (4)创建Responder实例线程;
                该线程获取写回复请求,执行异步写,一次性回复一个Connection的所有Call调用结果
                
            4.2 HRegionServer访问master的RPC:在启动regionservre时,采用代理模式创建了接口HMasterRegionInterface的一个本地代理,在调用
            接口方法时,委托给Invoker对象的invoke方法,该方法又通过HBaseClient作为客户端向HBaseServer发送请求,并获取返回结果
            
            4.3 HMaster与HRegionServer交互信息的格式
                (1)HServerInfo：包括服务器地址,端口,主机名，regionserver的负载信息HServerLoad
                (2)HRegionInfo：包括region id,起、止Key,region包含的table信息,是否在线,regionName等
                (3)HMsg：HMaster和HRegionServer通信的指令
                    master发送给region server的指令包括:启动指定region；停止指定region；分裂region；compact region;停止regionserver；停止指定region而无需回复；停止所有用户region
                    从region server到master的指令:regionserver正在服务指定region;regionserver已不再服务指定region；regionserver正在关闭；已停用所有用户region；Flush缓存；运行Major Compaction；分裂指定region
                
            4.4 交互协议
                HRegionServer启动时：
                (1)HRegionServer获取服务端协议版本并比较
                (2)HRegionServer调用HMasterRegionInterface的regionServerStartup接口，报告该regionserver已启动;
                    HMaster将regionserver的管理都交给ServerManager;
                    HMaster返回hbase.regionserver.address,fs.default.name和hbase.rootdir等配置信息         
                (3)然后定期(hbase.regionserver.msginterval)定期调用HMasterRegionInterface的regionServerReport接口报告regionserver的状态，并接受指令
                
            4.5 master对regionserver的管理：ServerManager
                ServerManager维护三个Map记录可用regionserver状况，
                    serversToServerInfo：从serverName到其HServerInfo的映射;
                    serversToLoad:从serverName到其最近HServerLoad的映射;
                    loadToServers:从HServerLoad到其serverName集合的映射(相同负载的regionserver);
                    一个Set    deadServers维护已死亡的regionserver信息;
                    
                (1)regionserver启动后向master报告：
                    a.ServerManager的regionServerStartup方法先检查是否已存在相同的regionserver,若存在且通过startCode判断其是否stale(???)，若stale则终止该regionserver:
                            删除该regionserver对应的HServerInfo、HServerLoad，加入到deadServers队列，并向master的RegionServerOperation队列中增加一个关闭该server操作，等待处理
                    b.检查该regionserver是否在deadServers队列
                    c.然后在zookeeper的/hbase/rs/增加Znode中记录新的regionserver，并向该Znode增加一个ServerExpirer,在该节点被删除后expire该regionserver
                    d.serversToServerInfo，serversToLoad，loadToServers增加相应记录
                (2)处理regionserver的heart beat报告(这一部分逻辑比较复杂)
                    a.检查该regionserver是否已经dead(与deadServers中的记录进行比较)
                    b.第一条HMsg是:regionserver正在关闭
                            从serversToServerInfo中删除该regionserver;
                            调用RegionManager,使该regionserver上的所有meta和root region下线;
                            检查是否有root和meta region正在该server启动,有则重新分配该region ;
                            从serversToLoad和loadToServers从删除该regionserver的load信息;
                            然后依次读取后面每条msg,msg类型必需为：停止region;通过master的RegionManager来管理region
                            最后向regionserver返回空的HMsg.
                    c.第一条HMsg是:MSG_REPORT_QUIESCED,即regionserver关闭所有user regions，则quiescedServers记录该状态regionserver的数据
                        当master接受到shutdown请求时，而所有regionserver仅服务metar regions则关闭master
                    d.若master已关闭，则返回REGIONSERVER_STOP的msg
                    e.若serversToServerInfo中查不到该regionserver，也向regionserver发送REGIONSERVER_STOP的msg
                    f.前面处理掉所有异常情况,然后调用processRegionServerAllsWell处理regionserver的HMsg：
                            更新serversToServerInfo,serversToLoad,loadToServers中regionserver对应的信息;
                            依次处理每条HMsg:
                                regionserver正在处理open指定region的请求:累加该指令次数
                                regionserver已open指定region：
                                    若region被重复打开了,则回复regionsever关闭
                                    若是root region,则从未分配region列表中删除，并记录root region所在regionserver地址；
                                    非root region,设置状态为open,向RegionServerOperationQueue添加ProcessRegionOpen操作，
                                    连接至该region的meta region所在regionserver,该regionserver客户端获得HRegionInterface的代理,put该region的信息到meta region中(key为region名,CATALOG_FAMILY下有主机和端口、startCode两列)
                                    若region是meta region,则加入RegionManager中的扫描队列中。
                                regionserver已关闭指定region:    
                                    如果是root region则清理RegionManager中root
                                    向master的RegionServerOperationQueue中增加ProcessRegionClose操作
                                MSG_REPORT_SPLIT,MSG_REPORT_SPLIT_INCLUDES_DAUGHTERS,regionserver分裂region操作：都委托给RegionManager
                                
                (3)ServerMonitor线程,定期dump deadServers和regionserver数量及每个regionserver的平均服务region数量
                
                
            4.6 regionserver处理master返回的HMsg:regionserver将master返回的消息放入一队列中，由其worker线程从队列中依次取出并处理
                (1)处理MSG_REGIONSERVER_QUIESCE，关闭所有user region:从HRegionServer记录的所有online regions中选出所有user region,每个region启动一个线程进行执行关闭
                (2)MSG_REGION_OPEN,打开指定region:若整个集群的root region还没打开,则不处理该指令,并重新放回队列中;                    
                (3)MSG_REGION_CLOSE,关闭指定region:从online regions中选出要关闭的region,关闭该region,并给master回复已关闭的信息
                (4)MSG_REGION_SPLIT,分裂指定region:先flush缓存数据;设置region的标识变量splitRequest为true;region放入CompactSplitThread线程的compactionQueue队列中等待分裂
                (5)MSG_REGION_MAJOR_COMPACT和MSG_REGION_COMPACT：region放入CompactSplitThread线程的compactionQueue队列中等待Compaction
                (6)MSG_REGION_FLUSH:flush指定region