`
run_xiao
  • 浏览: 196323 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

HBase源码阅读-4-HMaster与HRegionServer的RPC

阅读更多

4.HMaster与HRegionServer的RPC
            启动master时创建一个Server的实例,利用反射机制提供HMaster的方法调用服务;Server继承自抽象类HBaseServer;
            HBaseServer通过异步io(nio包)提供了非阻塞的网络连接
            4.1 RPC Server的创建及启动过程
                (1)HBaseServer初始化参数:绑定地址,端口,调用队列大小,最大连接数,最大闲置连接数等    
                
                (2)创建Listener(继承自Thread)实例,使用ServerSocketChannel绑定到监听端口,并向Selector注册接受新连接事件
                    对新连接连接,因为采用异步方式处理,所以为新连接创建一个Connection的实例维持连接状态,并在Selector注册相应的读事件,以读取请求;
                    对读事件,获取对应的Connection对象,由readAndProcess方法读取并处理请求;
                    处理请求时,创建Call对象,包含连接和RPC调用的具体参数信息,放入一个队列中,等待处理;     
                    (一个连接Connection可能有多个Call???)
                    
                (3)创建10个Handler线程,互斥的从Call队列中取出Call的实例,传入参数调用call方法进行RPC调用(该方法由Server实现);
                将处理完成的结果放入Call对应Connection的回复队列中,并向Selector注册写回复请求
                
                (4)创建Responder实例线程;
                该线程获取写回复请求,执行异步写,一次性回复一个Connection的所有Call调用结果
                
            4.2 HRegionServer访问master的RPC:在启动regionservre时,采用代理模式创建了接口HMasterRegionInterface的一个本地代理,在调用
            接口方法时,委托给Invoker对象的invoke方法,该方法又通过HBaseClient作为客户端向HBaseServer发送请求,并获取返回结果
            
            4.3 HMaster与HRegionServer交互信息的格式
                (1)HServerInfo:包括服务器地址,端口,主机名,regionserver的负载信息HServerLoad
                (2)HRegionInfo:包括region id,起、止Key,region包含的table信息,是否在线,regionName等
                (3)HMsg:HMaster和HRegionServer通信的指令
                    master发送给region server的指令包括:启动指定region;停止指定region;分裂region;compact region;停止regionserver;停止指定region而无需回复;停止所有用户region
                    从region server到master的指令:regionserver正在服务指定region;regionserver已不再服务指定region;regionserver正在关闭;已停用所有用户region;Flush缓存;运行Major Compaction;分裂指定region
                
            4.4 交互协议
                HRegionServer启动时:
                (1)HRegionServer获取服务端协议版本并比较
                (2)HRegionServer调用HMasterRegionInterface的regionServerStartup接口,报告该regionserver已启动;
                    HMaster将regionserver的管理都交给ServerManager;
                    HMaster返回hbase.regionserver.address,fs.default.name和hbase.rootdir等配置信息         
                (3)然后定期(hbase.regionserver.msginterval)定期调用HMasterRegionInterface的regionServerReport接口报告regionserver的状态,并接受指令
                
            4.5 master对regionserver的管理:ServerManager
                ServerManager维护三个Map记录可用regionserver状况,
                    serversToServerInfo:从serverName到其HServerInfo的映射;
                    serversToLoad:从serverName到其最近HServerLoad的映射;
                    loadToServers:从HServerLoad到其serverName集合的映射(相同负载的regionserver);
                    一个Set    deadServers维护已死亡的regionserver信息;
                    
                (1)regionserver启动后向master报告:
                    a.ServerManager的regionServerStartup方法先检查是否已存在相同的regionserver,若存在且通过startCode判断其是否stale(???),若stale则终止该regionserver:
                            删除该regionserver对应的HServerInfo、HServerLoad,加入到deadServers队列,并向master的RegionServerOperation队列中增加一个关闭该server操作,等待处理
                    b.检查该regionserver是否在deadServers队列
                    c.然后在zookeeper的/hbase/rs/增加Znode中记录新的regionserver,并向该Znode增加一个ServerExpirer,在该节点被删除后expire该regionserver
                    d.serversToServerInfo,serversToLoad,loadToServers增加相应记录
                (2)处理regionserver的heart beat报告(这一部分逻辑比较复杂)
                    a.检查该regionserver是否已经dead(与deadServers中的记录进行比较)
                    b.第一条HMsg是:regionserver正在关闭
                            从serversToServerInfo中删除该regionserver;
                            调用RegionManager,使该regionserver上的所有meta和root region下线;
                            检查是否有root和meta region正在该server启动,有则重新分配该region ;
                            从serversToLoad和loadToServers从删除该regionserver的load信息;
                            然后依次读取后面每条msg,msg类型必需为:停止region;通过master的RegionManager来管理region
                            最后向regionserver返回空的HMsg.
                    c.第一条HMsg是:MSG_REPORT_QUIESCED,即regionserver关闭所有user regions,则quiescedServers记录该状态regionserver的数据
                        当master接受到shutdown请求时,而所有regionserver仅服务metar regions则关闭master
                    d.若master已关闭,则返回REGIONSERVER_STOP的msg
                    e.若serversToServerInfo中查不到该regionserver,也向regionserver发送REGIONSERVER_STOP的msg
                    f.前面处理掉所有异常情况,然后调用processRegionServerAllsWell处理regionserver的HMsg:
                            更新serversToServerInfo,serversToLoad,loadToServers中regionserver对应的信息;
                            依次处理每条HMsg:
                                regionserver正在处理open指定region的请求:累加该指令次数
                                regionserver已open指定region:
                                    若region被重复打开了,则回复regionsever关闭
                                    若是root region,则从未分配region列表中删除,并记录root region所在regionserver地址;
                                    非root region,设置状态为open,向RegionServerOperationQueue添加ProcessRegionOpen操作,
                                    连接至该region的meta region所在regionserver,该regionserver客户端获得HRegionInterface的代理,put该region的信息到meta region中(key为region名,CATALOG_FAMILY下有主机和端口、startCode两列)
                                    若region是meta region,则加入RegionManager中的扫描队列中。
                                regionserver已关闭指定region:    
                                    如果是root region则清理RegionManager中root
                                    向master的RegionServerOperationQueue中增加ProcessRegionClose操作
                                MSG_REPORT_SPLIT,MSG_REPORT_SPLIT_INCLUDES_DAUGHTERS,regionserver分裂region操作:都委托给RegionManager
                                
                (3)ServerMonitor线程,定期dump deadServers和regionserver数量及每个regionserver的平均服务region数量
                
                
            4.6 regionserver处理master返回的HMsg:regionserver将master返回的消息放入一队列中,由其worker线程从队列中依次取出并处理
                (1)处理MSG_REGIONSERVER_QUIESCE,关闭所有user region:从HRegionServer记录的所有online regions中选出所有user region,每个region启动一个线程进行执行关闭
                (2)MSG_REGION_OPEN,打开指定region:若整个集群的root region还没打开,则不处理该指令,并重新放回队列中;                    
                (3)MSG_REGION_CLOSE,关闭指定region:从online regions中选出要关闭的region,关闭该region,并给master回复已关闭的信息
                (4)MSG_REGION_SPLIT,分裂指定region:先flush缓存数据;设置region的标识变量splitRequest为true;region放入CompactSplitThread线程的compactionQueue队列中等待分裂
                (5)MSG_REGION_MAJOR_COMPACT和MSG_REGION_COMPACT:region放入CompactSplitThread线程的compactionQueue队列中等待Compaction
                (6)MSG_REGION_FLUSH:flush指定region

2
0
分享到:
评论

相关推荐

    HBase源码分析

    《深入剖析HBase源码:理解其核心机制》 HBase,作为一款基于分布式存储的NoSQL数据库,广泛应用于大数据领域。它构建于Hadoop之上,利用HDFS提供高可靠性和高可扩展性。本文将深入探讨HBase的实现原理,特别是其...

    hbase源码分析

    ### HBase源码分析 #### 一、HBase性能测试要点与分析 ##### 1.1 测试环境 - **硬件配置**: - 客户端:1台 - RegionServer:5台 - Master:1台 - ZooKeeper:3台 - **软件配置**: - CPU:每台服务器配备8...

    细细品味Hadoop_Hadoop集群(第11期)_HBase简介及安装.pdf

    客户端通过 RPC(远程过程调用)机制与 HMaster 和 HRegionServer 进行通信。 2. **HMaster**:HMaster 负责整个 HBase 集群的管理和协调工作,包括管理 HRegionServer、处理负载均衡、管理元数据等。HMaster 并不...

    最近很火的大数据Hadoop之Hbase0.99.2最新版源码

    通过对`HMaster`类的源码阅读,我们可以了解到这些关键功能的具体实现。 其次,RegionServer是HBase的存储和计算单元,它直接与客户端交互,执行数据的读写操作。`HRegionServer`类是其核心,包含了Region的生命...

    计算机术语.pdf

    计算机术语.pdf

    包括缺陷和有限视场效应的Etalon模型 matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

    基于PLC和组态软件的智能停车场收费系统:电气控制与梯形图程序详解

    内容概要:本文详细介绍了基于PLC(可编程逻辑控制器)和组态软件的智能停车场收费系统的实现方法和技术细节。首先,文章概述了系统的总体架构,指出PLC用于控制停车场的电气设备,而组态软件则提供直观的操作界面。接着,深入解析了PLC梯形图程序的具体逻辑,包括车辆检测、闸门控制、收费计算等功能模块。此外,文章还讨论了接线图的设计原则和注意事项,如防止电磁干扰、确保系统稳定性的措施。最后,介绍了组态画面的设计思路及其优化方法,如动态显示车位状态、实时更新收费信息等。通过这些内容,读者能够全面了解智能停车场收费系统的内部运作机制。 适合人群:从事自动化控制、工业物联网、智能交通等领域的工作技术人员,尤其是对PLC编程和组态软件应用感兴趣的工程师。 使用场景及目标:适用于新建或改造停车场项目的规划与实施阶段,帮助工程师理解和设计类似的自动化控制系统,提高停车场管理效率和服务质量。 其他说明:文中提供了大量实际案例和技术细节,有助于读者更好地掌握相关技术和应对实际工程中的挑战。

    MATLAB实现电-气-热综合能源系统耦合优化调度模型

    内容概要:本文详细介绍了利用MATLAB及其工具箱YALMIP和求解器CPLEX/Gurobi构建电-气-热综合能源系统耦合优化调度模型的方法。首先,文章描述了电网部分采用39节点系统进行直流潮流建模,气网部分则使用比利时20节点配气网,并对Weymouth方程进行了线性化处理,将非线性问题转化为线性规划问题。热网部分引入了热电联产(CHP)和电转气(P2G)设备,实现了热电耦合。通过模块化设计,代码能够灵活地添加新的能量存储或转换设备。实验结果显示,相比单一网络优化,三网耦合优化降低了12.6%的系统总成本,并显著改善了负荷峰谷差。 适合人群:从事能源系统优化研究的专业人士,尤其是熟悉MATLAB编程和优化理论的研究人员和技术人员。 使用场景及目标:适用于希望深入了解综合能源系统耦合优化调度机制的研究人员和技术人员。主要目标是掌握如何使用MATLAB搭建电-气-热耦合优化模型,理解各个子系统的数学建模方法以及它们之间的相互作用。 其他说明:文中提供了详细的代码片段和解释,帮助读者更好地理解和复现模型。此外,还讨论了一些实际应用中的注意事项,如求解器的选择、参数调优等。

    计算机三级网络机试考试试题及答案(下).pdf

    计算机三级网络机试考试试题及答案(下).pdf

    NX MCD时序仿真中机械臂抓取仿真的参数配置与PLC联动实现

    内容概要:本文详细介绍了使用NX MCD进行机械臂抓取仿真的方法和技术要点。首先探讨了运行时参数的配置,如夹爪力度的动态调整和位置控制的脚本编写。接着讨论了条件仿真序列的设计,包括状态机跳转、阻塞等待、异步响应和超时保护等关键概念。此外,文章还讲解了与PLC的联合仿真,展示了如何通过TIA Portal实现抓取力度的动态补偿以及信号同步。最后分享了一些实用的调试技巧,如使用半速模式观察力学变化、设置碰撞检测触发器等。 适合人群:从事自动化设备开发、机械臂控制系统设计的技术人员,尤其是对NX MCD和PLC有一定了解的工程师。 使用场景及目标:适用于需要进行复杂机械臂抓取仿真的项目,帮助工程师更好地理解和掌握NX MCD与时序仿真的核心技术,提高仿真精度和可靠性。 其他说明:文中提供了大量具体的代码片段和配置示例,便于读者快速上手实践。同时强调了参数化配置的重要性,指出这是为了在现场调试时提供更大的灵活性。

    计算机数控系统.pdf

    计算机数控系统.pdf

    基于Qt框架的音频采集与播放工具

    本人创作,禁止商用

    大型流水线贴膜机PLC与触摸屏程序:初学者必备的工业控制项目

    内容概要:本文详细介绍了一款大型流水线贴膜机的PLC程序和触摸屏程序,涵盖多个控制工艺如上下气缸控制、输送带电机控制、贴膜伺服控制等。程序适用于西门子S7-1200 PLC和KTP700触摸屏,支持V13及以上版本。文中提供了详细的代码示例和分析,解释了各个控制部分的工作原理及其优化技巧。此外,还介绍了异常处理机制、报警处理模块、以及触摸屏界面上的一些实用功能,如动画流程图显示和参数微调。 适合人群:工业自动化领域的初学者,尤其是对PLC编程和运动控制感兴趣的工程师和技术人员。 使用场景及目标:① 学习PLC编程和触摸屏程序设计的基础知识;② 掌握常见工业控制元件的编程方法和优化技巧;③ 提高对复杂控制系统的设计和调试能力。 其他说明:文章强调了程序中的关键技术和注意事项,如定时器保护、光电开关连锁、位置补偿算法等,有助于初学者避免常见错误并提高系统的可靠性和安全性。

    基于51单片机的多点测温系统:利用DS18B20传感器与LCD1602实现实时温度监测

    内容概要:本文详细介绍了基于51单片机的多点测温系统的构建方法。系统采用五个DS18B20数字温度传感器进行温度采集,并将数据实时显示在LCD1602屏幕上。文中涵盖了硬件连接、单总线通信协议、温度读取与显示的具体实现细节,以及常见问题的解决方案。特别强调了ROM匹配算法的应用,确保多个传感器在同一总线上能够正确通信。此外,还提供了Proteus仿真的注意事项和一些调试技巧。 适合人群:对嵌入式系统开发感兴趣的初学者和有一定单片机基础的研发人员。 使用场景及目标:适用于恒温箱监控、多房间温控等应用场景,旨在帮助开发者掌握多点温度监测系统的搭建方法和技术要点。 其他说明:文中附有完整的硬件连接图和核心代码片段,便于读者理解和实践。同时提到了一些扩展功能,如温度单位切换、阈值报警等,增加了项目的趣味性和实用性。

    直流电机模糊PID控制技术详解及其Python与C语言实现

    内容概要:本文详细介绍了将模糊控制与传统PID相结合应用于直流电机控制的方法。首先阐述了传统PID控制在面对负载突变或转速大幅变化时的局限性,随后引入模糊PID的概念并展示了具体的实现步骤。文中提供了完整的Python和C语言代码示例,涵盖模糊规则表的设计、隶属度函数的选择以及参数自适应调整机制。此外,作者还分享了多个实用的经验技巧,如参数调整范围限制、误差量化因子选择、抗积分饱和算法的应用等。并通过实验数据对比证明了模糊PID相比传统PID在响应速度和稳定性方面的优势。 适合人群:具有一定自动化控制理论基础和技术实践经验的研发人员,尤其是从事电机控制系统开发的技术人员。 使用场景及目标:适用于需要提高直流电机控制系统鲁棒性和响应速度的实际工程项目。主要目标是在保持系统稳定的前提下,缩短调节时间和减少超调量,从而提升整体性能。 其他说明:尽管模糊PID能够显著改善某些特定条件下的控制效果,但仍需注意合理设置初始参数和调整幅度限制。同时,对于不同类型的电机和应用场景,可能还需要进一步优化模糊规则和隶属度函数。

    计算机试题office应用.pdf

    计算机试题office应用.pdf

    强化学习算法的功能实现,举了一个小例子,运行无问题 matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

    基于多目标粒子群算法的CCHP联供系统MATLAB优化代码解析与应用

    内容概要:本文详细介绍了用于冷热电联供系统(CCHP)的多目标粒子群优化(MOPSO)算法MATLAB实现。该代码通过动态惯性权重、轮盘赌全局最优选取和约束集成等特性,解决了燃气轮机出力与风光发电波动的平衡问题,优化了电制冷机和锅炉的启停策略,从而提高系统的经济性和环保性能。文中展示了核心代码片段,如粒子位置更新、适应度函数构建、约束处理策略以及帕累托前沿筛选等,强调了工程化思维的应用,如设备启停控制、风光预测处理等。 适合人群:从事能源系统优化的研究人员、工程师和技术爱好者,尤其是对MATLAB编程和多目标优化算法有一定了解的人士。 使用场景及目标:适用于需要优化冷热电联供系统运行策略的场合,旨在实现系统运行成本最小化和碳排放量最低的目标。具体应用场景包括但不限于:工业园区能源管理、分布式能源系统调度、智能电网优化等。 其他说明:该代码不仅提供了理论上的优化方案,还通过实际案例验证了其有效性,如在夏季负荷高峰场景下的动态调度策略。此外,代码具有良好的扩展性和实用性,支持多种设备模型和目标函数的定制化修改。

    计算机求职笔试内容与分类

    计算机求职笔试内容与分类

    料箱输送线程序:WCS与PLC的Socket接口及分拣控制详解

    内容概要:本文详细介绍了欧洲进口料箱分拣系统的程序架构及其核心技术。系统采用西门子S7-1500 PLC作为控制器,通过Socket接口实现WCS(仓储控制系统)与PLC之间的高效通信。文中展示了PLC端的Socket服务端代码,以及分拣逻辑的具体实现,包括动态权重算法优化分拣路径、异常处理机制、变频器控制和报警处理模块的设计。此外,文章还探讨了硬件配置如扫码枪、直流辊筒电机和变频器的作用,以及程序中的模块化设计和工业级代码规范。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是对PLC编程、WCS集成和工业物联网感兴趣的读者。 使用场景及目标:适用于需要深入了解料箱输送线控制系统的工作原理、优化分拣效率、提高系统可靠性和稳定性的应用场景。目标是帮助读者掌握WCS与PLC的Socket通信设计、分拣逻辑优化及硬件配置的最佳实践。 其他说明:文章不仅提供了详细的代码示例,还分享了许多实际调试经验和设计思路,有助于读者更好地理解和应用相关技术。

Global site tag (gtag.js) - Google Analytics