4.HMaster与HRegionServer的RPC
启动master时创建一个Server的实例,利用反射机制提供HMaster的方法调用服务;Server继承自抽象类HBaseServer;
HBaseServer通过异步io(nio包)提供了非阻塞的网络连接
4.1 RPC Server的创建及启动过程
(1)HBaseServer初始化参数:绑定地址,端口,调用队列大小,最大连接数,最大闲置连接数等
(2)创建Listener(继承自Thread)实例,使用ServerSocketChannel绑定到监听端口,并向Selector注册接受新连接事件
对新连接连接,因为采用异步方式处理,所以为新连接创建一个Connection的实例维持连接状态,并在Selector注册相应的读事件,以读取请求;
对读事件,获取对应的Connection对象,由readAndProcess方法读取并处理请求;
处理请求时,创建Call对象,包含连接和RPC调用的具体参数信息,放入一个队列中,等待处理;
(一个连接Connection可能有多个Call？？？)
(3)创建10个Handler线程,互斥的从Call队列中取出Call的实例,传入参数调用call方法进行RPC调用(该方法由Server实现);
将处理完成的结果放入Call对应Connection的回复队列中,并向Selector注册写回复请求
(4)创建Responder实例线程;
该线程获取写回复请求,执行异步写,一次性回复一个Connection的所有Call调用结果
4.2 HRegionServer访问master的RPC:在启动regionservre时,采用代理模式创建了接口HMasterRegionInterface的一个本地代理,在调用
接口方法时,委托给Invoker对象的invoke方法,该方法又通过HBaseClient作为客户端向HBaseServer发送请求,并获取返回结果
4.3 HMaster与HRegionServer交互信息的格式
(1)HServerInfo：包括服务器地址,端口,主机名，regionserver的负载信息HServerLoad
(2)HRegionInfo：包括region id,起、止Key,region包含的table信息,是否在线,regionName等
(3)HMsg：HMaster和HRegionServer通信的指令
master发送给region server的指令包括:启动指定region；停止指定region；分裂region；compact region;停止regionserver；停止指定region而无需回复；停止所有用户region
从region server到master的指令:regionserver正在服务指定region;regionserver已不再服务指定region；regionserver正在关闭；已停用所有用户region；Flush缓存；运行Major Compaction；分裂指定region
4.4 交互协议
HRegionServer启动时：
(1)HRegionServer获取服务端协议版本并比较
(2)HRegionServer调用HMasterRegionInterface的regionServerStartup接口，报告该regionserver已启动;
HMaster将regionserver的管理都交给ServerManager;
HMaster返回hbase.regionserver.address,fs.default.name和hbase.rootdir等配置信息
(3)然后定期(hbase.regionserver.msginterval)定期调用HMasterRegionInterface的regionServerReport接口报告regionserver的状态，并接受指令
4.5 master对regionserver的管理：ServerManager
ServerManager维护三个Map记录可用regionserver状况，
serversToServerInfo：从serverName到其HServerInfo的映射;
serversToLoad:从serverName到其最近HServerLoad的映射;
loadToServers:从HServerLoad到其serverName集合的映射(相同负载的regionserver);
一个Set deadServers维护已死亡的regionserver信息;
(1)regionserver启动后向master报告：
a.ServerManager的regionServerStartup方法先检查是否已存在相同的regionserver,若存在且通过startCode判断其是否stale(???)，若stale则终止该regionserver:
删除该regionserver对应的HServerInfo、HServerLoad，加入到deadServers队列，并向master的RegionServerOperation队列中增加一个关闭该server操作，等待处理
b.检查该regionserver是否在deadServers队列
c.然后在zookeeper的/hbase/rs/增加Znode中记录新的regionserver，并向该Znode增加一个ServerExpirer,在该节点被删除后expire该regionserver
d.serversToServerInfo，serversToLoad，loadToServers增加相应记录
(2)处理regionserver的heart beat报告(这一部分逻辑比较复杂)
a.检查该regionserver是否已经dead(与deadServers中的记录进行比较)
b.第一条HMsg是:regionserver正在关闭
从serversToServerInfo中删除该regionserver;
调用RegionManager,使该regionserver上的所有meta和root region下线;
检查是否有root和meta region正在该server启动,有则重新分配该region ;
从serversToLoad和loadToServers从删除该regionserver的load信息;
然后依次读取后面每条msg,msg类型必需为：停止region;通过master的RegionManager来管理region
最后向regionserver返回空的HMsg.
c.第一条HMsg是:MSG_REPORT_QUIESCED,即regionserver关闭所有user regions，则quiescedServers记录该状态regionserver的数据
当master接受到shutdown请求时，而所有regionserver仅服务metar regions则关闭master
d.若master已关闭，则返回REGIONSERVER_STOP的msg
e.若serversToServerInfo中查不到该regionserver，也向regionserver发送REGIONSERVER_STOP的msg
f.前面处理掉所有异常情况,然后调用processRegionServerAllsWell处理regionserver的HMsg：
更新serversToServerInfo,serversToLoad,loadToServers中regionserver对应的信息;
依次处理每条HMsg:
regionserver正在处理open指定region的请求:累加该指令次数
regionserver已open指定region：
若region被重复打开了,则回复regionsever关闭
若是root region,则从未分配region列表中删除，并记录root region所在regionserver地址；
非root region,设置状态为open,向RegionServerOperationQueue添加ProcessRegionOpen操作，
连接至该region的meta region所在regionserver,该regionserver客户端获得HRegionInterface的代理,put该region的信息到meta region中(key为region名,CATALOG_FAMILY下有主机和端口、startCode两列)
若region是meta region,则加入RegionManager中的扫描队列中。
regionserver已关闭指定region:
如果是root region则清理RegionManager中root
向master的RegionServerOperationQueue中增加ProcessRegionClose操作
MSG_REPORT_SPLIT,MSG_REPORT_SPLIT_INCLUDES_DAUGHTERS,regionserver分裂region操作：都委托给RegionManager
(3)ServerMonitor线程,定期dump deadServers和regionserver数量及每个regionserver的平均服务region数量
4.6 regionserver处理master返回的HMsg:regionserver将master返回的消息放入一队列中，由其worker线程从队列中依次取出并处理
(1)处理MSG_REGIONSERVER_QUIESCE，关闭所有user region:从HRegionServer记录的所有online regions中选出所有user region,每个region启动一个线程进行执行关闭
(2)MSG_REGION_OPEN,打开指定region:若整个集群的root region还没打开,则不处理该指令,并重新放回队列中;
(3)MSG_REGION_CLOSE,关闭指定region:从online regions中选出要关闭的region,关闭该region,并给master回复已关闭的信息
(4)MSG_REGION_SPLIT,分裂指定region:先flush缓存数据;设置region的标识变量splitRequest为true;region放入CompactSplitThread线程的compactionQueue队列中等待分裂
(5)MSG_REGION_MAJOR_COMPACT和MSG_REGION_COMPACT：region放入CompactSplitThread线程的compactionQueue队列中等待Compaction
(6)MSG_REGION_FLUSH:flush指定region
分享到：
相关推荐
《深入剖析HBase源码：理解其核心机制》 HBase，作为一款基于分布式存储的NoSQL数据库，广泛应用于大数据领域。它构建于Hadoop之上，利用HDFS提供高可靠性和高可扩展性。本文将深入探讨HBase的实现原理，特别是其...
### HBase源码分析 #### 一、HBase性能测试要点与分析 ##### 1.1 测试环境 - **硬件配置**： - 客户端：1台 - RegionServer：5台 - Master：1台 - ZooKeeper：3台 - **软件配置**： - CPU：每台服务器配备8...
客户端通过 RPC（远程过程调用）机制与 HMaster 和 HRegionServer 进行通信。 2. **HMaster**：HMaster 负责整个 HBase 集群的管理和协调工作，包括管理 HRegionServer、处理负载均衡、管理元数据等。HMaster 并不...
通过对`HMaster`类的源码阅读，我们可以了解到这些关键功能的具体实现。 其次，RegionServer是HBase的存储和计算单元，它直接与客户端交互，执行数据的读写操作。`HRegionServer`类是其核心，包含了Region的生命...
内容概要：本文详细介绍了利用COMSOL软件模拟碳酸钙(CaCO3)在岩石中与盐酸(HCl)反应过程中产生的随机孔隙酸化路径及其形成的布林克曼流动。首先，通过蒙特卡洛方法生成随机孔隙分布，模拟真实岩石内部复杂的孔隙结构。接着，采用布林克曼方程处理多孔介质中的粘性力和渗透流动，并引入化学反应模块，模拟CaCO3与HCl之间的化学反应。随着模拟的进行，酸液流动路径逐渐形成类似雪花状的分形结构，展示了流动与溶解之间的动态博弈。最后，通过自适应网格技术和粒子追踪功能，精确捕捉并可视化这些精美的分形图案。 适合人群：从事地质工程、材料科学、化学工程等领域研究的专业人士，以及对多孔介质传输现象感兴趣的科研工作者。 使用场景及目标：适用于研究多孔介质内的化学反应和流体流动特性，特别是对于优化石油开采中的酸化压裂工艺具有重要指导意义。 其他说明：文中提供了详细的MATLAB和COMSOL代码片段，帮助读者理解和重现模拟过程。此外，强调了随机性和确定性在微观尺度上的相互作用，揭示了自然界深层次的规律。
内容概要：本文详细介绍了将滑模控制(SMC)应用于永磁同步电机(PMSM)直接转矩控制(DTC)的技术细节。首先解释了转矩和磁链误差计算方法，接着探讨了滑模面的设计及其对系统抖振的影响。文中还提供了扇区矢量选择的具体实现方式，并深入讨论了磁链观测器的改进措施。此外，文章分析了滑模控制器的设计要点以及仿真过程中需要注意的关键参数配置。通过对比传统PI控制，验证了滑模控制在提高系统鲁棒性和快速响应方面的优势。 适合人群：从事电机控制系统研究的专业人士，尤其是对永磁同步电机直接转矩控制感兴趣的科研工作者和技术人员。 使用场景及目标：适用于希望深入了解并掌握滑模控制理论及其在PMSM-DTC应用中的具体实现方法的研究人员。目标是在实际项目中能够运用滑模控制提升系统的稳定性和性能。 其他说明：文中提供的MATLAB/Simulink代码片段有助于读者更好地理解和复现实验结果。同时提醒读者关注一些常见的陷阱，如参数选择不当可能导致的问题。
内容概要：本文详细介绍了北京大学针对网络安全工作人员的管理规定，旨在加强网络安全管理和明确不同角色的责任。全文分为九章，涵盖了网络安全工作人员及其职责、聘用管理、转岗和离岗管理、教育培训、第三方人员管理及奖惩措施等方面的内容。重点在于明确各级单位和人员的具体职责，确保网络安全制度的有效执行，并强调了对第三方人员的严格管控和保密要求。 适合人群：适用于高校网络安全管理人员及相关技术人员，尤其是北京大学及其下属单位的网络安全工作者。 使用场景及目标：①帮助高校建立健全网络安全管理体系；②指导网络安全工作人员明确自身职责，提高工作效率；③规范第三方人员的访问和操作，降低安全风险。 其他说明：本文还提供了多个附件，如网络安全承诺书、访问申请表和保密协议模板，便于实际操作和管理。
内容概要：本文深入探讨了中国网络设备市场的现状及其未来发展潜力。首先介绍了网络设备的基本概念及其作为现代通信网络基础设施的重要地位，随后分析了当前市场面临的挑战和技术进步带来的机遇。文中特别强调了5G、物联网、云计算等新兴技术对网络设备性能和安全性的更高要求，以及由此催生的高带宽、低延迟产品的市场需求。此外，还讨论了软件定义网络(SDN)、网络功能虚拟化(NFV)、边缘计算等新技术的应用前景，指出未来网络设备将更加智能化、自动化，并能更好地支持AI和ML技术。最后，通过对多家领先企业的案例研究，展示了行业内竞争态势及各公司在技术创新方面的努力。 适用人群：从事网络设备相关领域的研究人员、工程师、管理人员，以及关注该领域发展的投资者。 使用场景及目标：帮助读者了解网络设备行业的最新动态和技术趋势，为制定战略决策提供依据；同时为企业和个人投资者提供市场洞察，辅助其做出合理的投资选择。 其他说明：报告基于详实的数据分析和专家意见撰写而成，旨在为专业人士提供有价值的参考资料。
内容概要：本文详细介绍了基于西门子1200 PLC的码垛系统的设计与实现，涵盖了多个关键技术点。首先，文章讲解了Modbus TCP通讯的实现方法，展示了如何通过TSEND_C和TRCV_C功能块进行工业相机和机器人之间的数据传输，并提供了具体的报文处理代码。接着，文章深入探讨了SCL编程的优势及其在复杂逻辑处理中的应用，如托盘堆叠算法，该算法能够根据当前层数动态调整机械手的高度，确保堆叠的安全性和稳定性。此外，文章还介绍了机器人控制中的移位寄存器实现的动作队列管理和变频器的速度平滑处理，以及视觉系统的坐标解析和异常处理机制。最后，文章强调了良好的注释规范和异常处理链的重要性，确保程序的可维护性和可靠性。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是熟悉西门子PLC编程和SCL语言的从业者。 使用场景及目标：适用于需要深入了解和掌握西门子1200 PLC在码垛系统中的具体应用的技术人员。目标是帮助读者理解并实现多设备联动的复杂控制系统，提高系统的稳定性和效率。 其他说明：文中提供的代码示例和详细的解释有助于读者更好地理解和应用相关技术，同时也为后续的维护和优化提供了宝贵的参考资料。
适合从入门到进阶的驱动程序爱好者
计算机二级上机题库答案.pdf
内容概要：本文介绍了深信服科技推出的下一代防火墙（NGAF）网络安全监测解决方案。随着网络安全成为国家战略的一部分，企业不仅需要遵守法律法规，还需增强自身的网络安全防护能力。传统的安全措施难以应对复杂的新型威胁，如APT攻击。深信服的NGAF通过多维度的安全监测，包括入侵风险、僵尸主机、实时漏洞、数据风险、黑链风险以及对外DoS攻击监测等功能，结合云端威胁情报共享，为企业提供了一套立体化的主动防御体系。该方案不仅可以旁路或串接部署，不影响现有业务系统，还能通过外置数据中心进行日志管理和综合分析，帮助用户快速定位和解决安全问题。 适合人群：IT管理人员、网络安全专家、企业信息安全负责人。 使用场景及目标：适用于各类企业的网络安全建设，特别是需要应对复杂网络攻击的企业。目标是构建一个多层次、全方位、智能化的网络安全监测和响应体系，提高企业的安全防护能力和应急响应速度。 其他说明：深信服NGAF不仅提升了网络安全监测的效果，还降低了运维成本，改变了传统的被动防护模式，使得安全运维更加高效和智能化。
内容概要：本文详细介绍了利用COMSOL软件进行超表面偏振转换的设计方法，主要聚焦于介质半波片和1/4波片的实现。文中首先解释了超表面的基本原理及其在光学调控中的重要作用，随后具体阐述了如何在COMSOL中设置材料属性、创建几何结构并施加适当的边界条件。针对半波片和1/4波片的不同需求，分别探讨了它们各自的设计要点、模拟步骤及优化策略。此外，还分享了一些实用的编码示例和技术诀窍，帮助研究人员更好地理解和掌握相关技能。 适合人群：从事光学工程、光电子学等领域研究的专业人士，尤其是那些希望深入了解超表面偏振转换机制并对COMSOL有一定使用经验的技术人员。 使用场景及目标：适用于需要设计高性能偏振转换器件的研究项目，旨在提高对超表面特性的认识水平，推动新型光学组件的研发进程。通过学习本文提供的理论知识和实践经验，读者可以在实际工作中运用COMSOL完成高质量的仿真实验。 其他说明：文中不仅涵盖了基本的概念介绍，还包括了许多具体的实施细节，如参数选择、模型构建、边界条件设定等，这些都是成功搭建有效仿真的关键因素。同时，作者也强调了实验过程中可能出现的问题及解决方案，为后续研究提供了宝贵的参考资料。
内容概要：本文详细介绍了将萤火虫算法应用于支持向量机(SVM)模型参数优化的方法和技术细节。首先解释了萤火虫算法的基本原理及其在参数空间中的应用方式，然后展示了具体的Python实现代码，包括萤火虫移动规则、适应度评价函数以及主循环逻辑。文中还讨论了参数范围设定、随机扰动的作用、目标函数设计等多个关键技术点，并提供了多个数据集上的实验结果对比，证明了该方法的有效性和优越性。 适合人群：对机器学习尤其是SVM模型有一定了解的研究人员和工程师，希望掌握先进的超参数优化技术。 使用场景及目标：适用于需要提高SVM模型性能的项目中，特别是在面对大规模数据集或复杂特征空间的情况下。通过使用萤火虫算法进行参数寻优，可以显著减少调参时间和成本，获得更好的分类效果。 其他说明：文章不仅提供了理论依据，还有详细的代码示例可供参考。此外，作者强调了一些实用技巧如参数范围的选择、随机扰动的应用等，有助于读者更好地理解和应用这一技术。
内容概要：本文详细介绍了软考高级信息系统项目管理师考试的内容，
内容概要：本文探讨了网络中间设备（middlebox）在现代网络架构中的地位和发展方向。首先介绍了网络中间设备的基本概念及其与传统转发设备的区别，强调了中间设备在网络安全、流量管理和优化方面的作用。接着讨论了软件定义网络(SDN)和网络功能虚拟化(NFV)背景下，中间设备面临的机遇和挑战，以及两者融合的趋势。最后展望了未来网流监控技术的发展前景，特别是在高效载荷过滤算法和敏捷策略管理机制方面的突破。 适合人群：从事网络工程、信息安全、云计算等领域工作的技术人员，以及对网络技术和架构感兴趣的科研人员。 使用场景及目标：帮助读者理解网络中间设备的关键作用和技术发展趋势，指导他们在实际工作中更好地规划和部署相关设备和服务。 其他说明：文中引用了SIGCOMM 2012和CoNEXT 2013的相关研究成果，提供了丰富的理论依据和技术背景支持。
计算机二级各章考点.pdf
Tomcat 部署配置指南安全配置性能调优
计算机辅助光学设计.pdf