`
heiliguai
  • 浏览: 14512 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类

Hadoop Yarn NodeManager源码分析①

阅读更多

NodeManager.java开始分析。

 

NodeManager类完成的工作就是启动一系列的服务(Service),Service是具有状态的类,状态有  

 NOTINITED,

    INITED,

    STARTED,

STOPPED;

 

Service有一系列改变这些状态的方法,并且可以注册监听器监听自身状态的变化。

 

NodeManager本身继承自Service,是一种CompositeService,也就是说NodeManager这个Service又由一些列的Service组成。同时NodeManager实现了监听器接口,可以监听自己的Service的状态变换情况。

 

组成NodeManagerService有:

 

DeletionService 用于删除特定用户特定文件夹下的文件

 

NodeHealthCheckerService  可配置选项,作用由名字可知

 

NodeStatusUpdater  更新Node状态的服务,此服务的STOPPED状态会被NodeManager本身监听到并终止NodeManager服务。

 

NodeResourceMonitor 作用由名可知,监控资源状态的。

 

ContainerManagerImpl 不清楚,应该是根据资源状况为Application分配Container吧。依赖NodeRecourceMonitor提供资源信息,依赖于NMContextNMContext包含了一个Node中的ApplicationContainer信息。

 

AsyncDispatcher 事件消息分发模块,维护一个事件消息队列和一个事件与对应的handlerMap

注册ContainerManagerEventType(应用终止和容器终止)事件到containerManager,由containerManager处理应用终止和容器终止消息,containerManager实现了EventHandler接口。

 

WebServer web服务器,应该是用来展示node的运行状态的。

分享到:
评论

相关推荐

    hadoop 源码解析_yarn源码解析

    Hadoop 源码解析_Yarn 源码解析 Hadoop 是一个基于 Java 的大数据处理框架,Yarn 是 Hadoop 的资源管理器,负责资源分配、任务调度和集群管理。下面是 Yarn 源码解析的知识点: 1. MR 程序提交 MR(MapReduce)...

    董西成:Hadoop YARN程序设计与应用案例

    从文件中提供的信息来看,董西成在其关于Hadoop YARN程序设计与应用案例的演讲中,涵盖了Hadoop YARN的定义、架构、API和开发步骤、应用类型、以及YARN API所涉及的通信协议和客户端库等核心知识点。以下是对这些...

    Hadoop的yarn详解

    Hadoop的YARN架构是Hadoop版本2.x引入的一个重要组件,它负责处理资源管理和作业调度,而核心的计算任务处理则交给了MapReduce、Tez、Spark等计算框架。YARN的出现是为了解决Hadoop早期版本中的可扩展性问题,它通过...

    Hadoop技术NodeManager架构共9页.pdf

    NodeManager是Hadoop YARN(Yet Another Resource Negotiator)架构中的核心组成部分,负责管理集群中每个节点上的资源和应用程序生命周期。 在Hadoop生态系统中,YARN作为资源管理层,它将Hadoop 1.x中的...

    HadoopYARN权威指南【中、英文版】

    《Hadoop YARN 权威指南》是一本深入解析Hadoop集群资源管理框架YARN的专业书籍,分为中文版和英文版。这本书对于理解和掌握Hadoop生态系统中的YARN至关重要,尤其对于大数据开发者、系统管理员和数据科学家来说,是...

    hadoop-yarn-server-nodemanager-2.6.0.jar

    java运行依赖jar包

    Apache Hadoop YARN.pdf完整电子版

    Apache Hadoop YARN,全称为Yet Another Resource Negotiator(另一种资源协调器),是Apache Hadoop生态系统中的核心组件,负责管理和调度Hadoop分布式计算环境中的资源。YARN的引入旨在解决早期Hadoop MapReduce...

    Apache Hadoop YARN:Moving beyond MapReduce and Batch Processing with Hadoop 2

    首先,我们需要了解Hadoop YARN是什么,它解决了什么问题,以及如何将YARN应用于实际的数据处理和分析中。 Hadoop YARN的核心设计目标是提供一个资源管理平台,能够将计算资源分配给各种不同处理框架,而不仅仅是...

    Hadoop YARN 基本架构和发展趋势

    在Hadoop YARN的基本架构中,核心组件包括ResourceManager(RM)、NodeManager(NM)和ApplicationMaster(AM)。ResourceManager是集群的中心控制器,负责接收客户端请求,启动和监控ApplicationMaster,监控...

    hadoop yarn优化配置项生成工具

    在大数据处理领域,Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目的核心组件之一,主要负责集群资源的管理和调度。YARN优化对于提升整个Hadoop集群的性能至关重要,尤其是在处理大规模数据...

    Hadoop Yarn 案例 2

    1. **YARN架构**:YARN的核心包括ResourceManager(RM)、NodeManager(NM)和ApplicationMaster(AM)。RM全局管理集群资源,负责分配和回收;NM是每个节点上的代理,监控和管理该节点上的容器;AM则是应用程序的...

    hadoop-2.8.1源码

    《深入剖析Hadoop 2.8.1源码:分布式系统的智慧结晶》 Hadoop,作为开源的大数据处理框架,自2006年诞生以来,一直是大数据领域的重要支柱。其2.8.1版本是Hadoop发展的一个关键节点,为用户提供了更稳定、高效的...

    HadoopYARN权威指南

    《Hadoop YARN 权威指南》是一本深入解析Hadoop YARN架构和技术细节的专业书籍。YARN(Yet Another Resource Negotiator),是Apache Hadoop生态系统中的核心组件之一,负责管理和调度集群资源,使得大数据处理更加...

    Hadoop YARN 基本架构和发展趋势 - d.pdf

    【Hadoop YARN基本架构】 Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目中的一个核心组件,它的设计目标是解决早期Hadoop 1.x版本中MapReduce(MRv1)存在的问题,包括扩展性限制、单点故障...

    实战hadoop中的源码

    【标题】"实战hadoop中的源码"涵盖了在大数据处理领域深入理解并应用Apache Hadoop的核心技术。Hadoop是开源的分布式计算框架,它允许在大规模集群上存储和处理海量数据。通过研究Hadoop的源码,开发者可以深入了解...

    Hadoop2.0YARN

    Hadoop 2.0 YARN,全称Yet Another Resource Negotiator,是Apache Hadoop生态系统中的一个核心组件,它在Hadoop 1.0 MapReduce的基础上进行了重大改进,旨在解决资源管理和调度的问题,以提高分布式计算的效率和...

    CCTC 2016 Hulu董西成:Hadoop YARN在异构环境下应用与实践

    Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop的一个子项目,主要用于优化和提升Hadoop大数据处理平台的资源管理和作业调度能力。它将资源管理和作业调度/监控分离开来,使得集群资源可以被多种...

Global site tag (gtag.js) - Google Analytics