`

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

 
阅读更多

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。

(1)RM中的服务

YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两种:单一服务和组合服务,组合服务是将多个单个服务组合在一起。

单一服务需继承AbstractService抽象类,而组合服务需继承CompositeService抽象类。在ResourceManager中,AdminService和ClientRMService为单一服务,而ResourceManager则为组合服务。

(2)RM中的事件处理器

围绕中央调度器AsyncDispatcher,ResourceManager共有8种事件调度器,它们处理的事件类型如图所示。

每个对象 均可能触发一定的事件,这些事件被统一传递给AsyncDispatcher,AsyncDispatcher收到事件后将之放到一个事件队列中,异步进行处理,比如,如果是AMLauncherEvent类型的事件,则分配给事件处理器ApplicationMasterLauncher,如果是SchedulerEvent类型事件,则分配给事件处理器ResourceScheduler处理。

分享到:
评论

相关推荐

    YARN(MRv2)搭建

    YARN(MRv2)搭建

    yarn-v0.23.2.tar.gz

    yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz

    Cloudera的yarn任务监控api

    本文将深入探讨Cloudera提供的YARN任务监控API,以及与之相关的Hadoop MapReduce API,帮助开发者更好地理解和利用这些工具进行集群管理和任务监控。 首先,我们关注YARN的Resource Manager API。Resource Manager...

    Flink on Yarn_K8S原理剖析及实践.pdf

    Apache Flink是一个开源的分布式流处理框架,用于在...通过这些资源,用户可以深入了解Flink在分布式环境中的运行机制,掌握在YARN/K8S平台上部署Flink集群的最佳实践,并对Flink的核心概念和技术细节有更全面的认识。

    Hadoop技术内幕深入解析YARN架构设计与实现原理PDF

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》这本书深入探讨了Hadoop生态系统中的核心组件YARN(Yet Another Resource Negotiator),它是Hadoop 2.x版本中的关键改进,旨在解决早期Hadoop MapReduce的资源...

    【自动化脚本】自动启动hdfs/yarn/spark HA集群

    脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、Spark Worker。编辑完成后在满足“前提”的任意一台主机运行均可。 ...

    Hadoop技术内幕:深入Yarn架构设计与实现原理

    《Hadoop技术内幕:深入Yarn架构设计与实现原理》这本书深入探讨了Hadoop生态系统中的核心组件YARN(Yet Another Resource Negotiator),它是Hadoop 2.x版本中的关键改进,旨在解决早期Hadoop MapReduce的资源管理...

    yarn-v1.22.5.tar.gz

    Yarn 是一个现代化的、高性能的 JavaScript 包管理器,由 Facebook 在 2016 年推出,旨在解决 npm(Node Package Manager)在大型项目中的性能和可预测性问题。Yarn v1.22.5 是 Yarn 的一个稳定版本,提供了更快的...

    2013-Apache Hadoop YARN_ Yet Another Resource Negotiator.pdf

    ### Apache Hadoop YARN:Yet Another Resource Negotiator #### 概述 Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的一个关键组件,它为Hadoop提供了资源管理和作业调度的能力。...

    YARN.Essentials

    YARN Essentials是关于Apache Hadoop的YARN(Yet Another Resource Negotiator)组件的详细介绍。该文档详细介绍了YARN的核心设计思想、架构组成、安装步骤、生态系统集成以及在集群中的管理与维护。以下是文档所...

    YARN应用开发与核心源码剖析.pdf

    ### YARN应用开发与核心源码剖析 #### 1. YARN概述 Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的一种新型资源管理框架,它为上层应用提供了一个统一的资源管理和调度平台。YARN的引入极大...

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》.(董西成).[PDF]@ckook

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》这本书由董西成撰写,是了解和掌握YARN(Yet Another Resource Negotiator)的核心参考资料。YARN是Hadoop生态系统中的关键组件,它作为数据处理框架的资源管理器...

    Hadoop技术-YARN的基本架构.pptx

    Application Master是每个应用程序的专属管理者,它负责与Resource Manager交互,获取所需的资源Container,并与Node Manager协作执行和监控任务。Application Master是高度可定制的,可以根据不同的计算框架(如...

    Spark实验:On Yarn模式安装部署(带答案)1

    6. **监控Yarn Resource Manager**:通过访问YARN Resource Manager的Web界面(默认地址为http://master:18088),可以查看集群的状态和正在运行的应用信息,确保Spark应用正常运行。 在这个过程中,还需要掌握一些...

    YARN Essentials.PDF

    - **向后兼容性:** MRv2 保持了与旧版 MapReduce API 的二进制兼容性,以确保现有应用程序可以无缝迁移。 **3. 实践案例:** - **输入文件准备:** 使用 `hadoop fs -put` 命令上传文件到 HDFS。 - **运行 ...

    Hadoop技术内幕:深入解析YARN架构设计与实现原理 高清完整中文版PDF下载

    《Hadoop技术内幕:深入解析YARN架构设计与实现原理》是一本专注于Hadoop生态系统中资源管理和调度核心组件——YARN(Yet Another Resource Negotiator)的专著。这本书全面介绍了YARN的架构、设计思想以及实际操作...

    董西城-Hadoop技术内幕-深入理解YARN架构设计与实现原理----带完整书签--完整版共394页

    《董西城-Hadoop技术内幕-深入理解YARN架构设计与实现原理》是一部全面解析Hadoop生态系统中YARN(Yet Another Resource Negotiator)核心组件的专业著作。这本书详细介绍了YARN的架构、设计思想以及实现机制,旨在...

Global site tag (gtag.js) - Google Analytics