HBase源码阅读-5-HMaster对HRegion的管理

5.HMaster对HRegion的管理:master将region的分派,状态管理等工作委托给RegionManager
        (1)RegionManager成员变量：rootRegionLocation,root region所在regionserver地址;
                            rootScannerThread和MetaScanner,root及meta region的扫描线程;
                            numberOfMetaRegions,meta regions数量由rootScannerThread设置;
                            onlineMetaRegions,在线的meta regions
                            regionsInTransition,记录正在状态变化中的region,region的状态有：
                                UNASSIGNED-等待分配到server
                                PENDING_OPEN-告诉server打开，但还未完成
                                OPEN-已打开region,但尚未在meta region中标识
                                CLOSING-已将close msg放入队列中，但还尚未发送到regionserver
                                PENDING_CLOSE-已将regionserver发送给regionserver
                                CLOSED-已关闭region,但尚未在meta region中标识
                            maxAssignInOneGo,一次分配给一个regionserver的最多region数量
                            LoadBalancer,负责regionserver间负载均衡
                            regionsToSplit,regionsToCompact,regionsToMajorCompact,regionsToFlush,需split/compact/MajorCompact/Flush的region
        (2)RegionManager工作流程:
            HMaster初始化时创建RegionManager实例;
            清除RegionManager中root region的地址及状态信息,设置root region状态为UNASSIGNED并加入regionsInTransition中;
            HMaster启动各种后台服务时,RegionManager后台启动rootScannerThread和metaScannerThread线程;   
            regionserver向master报告时,ServerManage在regionServerReport方法中调用RegionManager来处理跟region相关的msg.
           
        (3)RegionManager处理各种Region相关HMsg   
            a.regionserver正在关闭
                RegionManager关闭该regionserver上的所有region,包括root,meta和user region,并对root meta和online的user regionr重新分配,对offline user region从regionsInTransition删除其状态信息
            b.regionserver已open指定region
                RegionManager判断该region是否重复分配了,重复分配则返回关闭该region指令;
                若open的是root region,则在master的ServerConnection和RegionManager中记录root region所在地址;
                若open user region,具体操作参见ServerManager       
            c.regionserver已关闭指定region:
                关闭root region：？？？
                关闭meta region:从RegionManager的onlineMetaRegions中删除该region;
                regionsInTransition中设置该region为CLOSED;
                向master的RegionServerOperationQueue中增加ProcessRegionClose操作：往meta中写入该region offline状态，或若该region需重新分配则RegionManager设置该region待分配状态
            d.regionserver已split某个region:   
                读取连续的后两条HMsg从中取出分裂产生的两个HRegionInfo;
                从regionsToSplit和regionsToCompact中删除被分裂的HRegionInfo;
                从onlineMetaRegions中查找应包含新region的meta region,并尝试从对应的regionserver中读取新region,若存在则不做处理，不存在则将新region设置成待分配状态;
                若meta region被分裂，则从onlineMetaRegions中删除掉该region,并增加meta region的数量numberOfMetaRegions;
           
        (4)组织返回给regionserver的HMsg：
            a.对一个标记为需Close的region,增加一条MSG_REGION_CLOSE的HMsg,并在中regionsInTransition设置其状态为PENDING_CLOSE
            b.若正执行open region的数量少于hbase.regions.nobalancing.count指定的值，则从regionsInTransition中获取待分配的region(root region优先)   
            c.若无region分配给该regionserver,则比较该regionserver的region负载数量和整个集群的平均负载+slop系数(由参数hbase.regions.slop指定),由一算法(balanceFromOverloaded和balanceToLowloaded方法)
                计算该regionserver需close的region数量,并从负载最严重的region中选择指定数量的非root、meta region和不在regionsInTransition中的region,发出HMsg在该regionserver中close这些region,并设置状态为PENDING_CLOSE
            d.综合考虑多个整个集群的负载,    将需分配的region分配到多个regionserver:
                通过ServerManager找出负载最轻的那些regionserver,分摊一些region到这些regionserver;
                doRegionAssignment方法分配一个region到指定regionserver,设置状态状态为PENDING_OPEN,并发送MSG_REGION_OPEN消息;
            e.从regionsToCompact,regionsToSplit，regionsToFlush，regionsToMajorCompact中获取需要执行对应操作的region并发送对应HMsg   
               
                       
        (5)MetaScanner和RootScanner线程               
        这两个线程都继承自BaseScanner,通过初始化时扫描root和meta region可以知道所有的region并进行分配;当分裂一个region时,regionserver会通知master分配新region,但master可能
        会丢失这些分裂信息,而新region通常没有regionserver的信息,因此周期性地扫描发现这些新region并进行分配。
            a.RootScanner运行时机:master收到regionserver的root region被open指令;首次扫描后定期自动扫描
                扫描过程描述：
                    从RegionManager获取root region所在rs地址;
                    通过master的ServerConnection获取HRegionInterface接口代理,遍历root region内所有meta region的记录;
                    检查region对应的HServerInfo是否存在，不存在则表示尚未分配rs，加入到regionsInTransition，设置状态为UNASSIGNED;
                    检查所有已分裂的parent，
                   
            b.MetaScanner运行时机:当一个meta region上线;定期自动扫描上线的meta region;扫描过程逻辑类似RootScanner