从NodeManager.java开始分析。
NodeManager类完成的工作就是启动一系列的服务(Service),Service是具有状态的类,状态有
NOTINITED,
INITED,
STARTED,
STOPPED;
Service有一系列改变这些状态的方法,并且可以注册监听器监听自身状态的变化。
NodeManager本身继承自Service,是一种CompositeService,也就是说NodeManager这个Service又由一些列的Service组成。同时NodeManager实现了监听器接口,可以监听自己的Service的状态变换情况。
组成NodeManager的Service有:
DeletionService 用于删除特定用户特定文件夹下的文件
NodeHealthCheckerService 可配置选项,作用由名字可知
NodeStatusUpdater 更新Node状态的服务,此服务的STOPPED状态会被NodeManager本身监听到并终止NodeManager服务。
NodeResourceMonitor 作用由名可知,监控资源状态的。
ContainerManagerImpl 不清楚,应该是根据资源状况为Application分配Container吧。依赖NodeRecourceMonitor提供资源信息,依赖于NMContext,NMContext包含了一个Node中的Application和Container信息。
AsyncDispatcher 事件消息分发模块,维护一个事件消息队列和一个事件与对应的handler的Map。
注册ContainerManagerEventType(应用终止和容器终止)事件到containerManager,由containerManager处理应用终止和容器终止消息,containerManager实现了EventHandler接口。
WebServer web服务器,应该是用来展示node的运行状态的。
分享到:
相关推荐
Hadoop 源码解析_Yarn 源码解析 Hadoop 是一个基于 Java 的大数据处理框架,Yarn 是 Hadoop 的资源管理器,负责资源分配、任务调度和集群管理。下面是 Yarn 源码解析的知识点: 1. MR 程序提交 MR(MapReduce)...
从文件中提供的信息来看,董西成在其关于Hadoop YARN程序设计与应用案例的演讲中,涵盖了Hadoop YARN的定义、架构、API和开发步骤、应用类型、以及YARN API所涉及的通信协议和客户端库等核心知识点。以下是对这些...
Hadoop的YARN架构是Hadoop版本2.x引入的一个重要组件,它负责处理资源管理和作业调度,而核心的计算任务处理则交给了MapReduce、Tez、Spark等计算框架。YARN的出现是为了解决Hadoop早期版本中的可扩展性问题,它通过...
NodeManager是Hadoop YARN(Yet Another Resource Negotiator)架构中的核心组成部分,负责管理集群中每个节点上的资源和应用程序生命周期。 在Hadoop生态系统中,YARN作为资源管理层,它将Hadoop 1.x中的...
《Hadoop YARN 权威指南》是一本深入解析Hadoop集群资源管理框架YARN的专业书籍,分为中文版和英文版。这本书对于理解和掌握Hadoop生态系统中的YARN至关重要,尤其对于大数据开发者、系统管理员和数据科学家来说,是...
java运行依赖jar包
Apache Hadoop YARN,全称为Yet Another Resource Negotiator(另一种资源协调器),是Apache Hadoop生态系统中的核心组件,负责管理和调度Hadoop分布式计算环境中的资源。YARN的引入旨在解决早期Hadoop MapReduce...
首先,我们需要了解Hadoop YARN是什么,它解决了什么问题,以及如何将YARN应用于实际的数据处理和分析中。 Hadoop YARN的核心设计目标是提供一个资源管理平台,能够将计算资源分配给各种不同处理框架,而不仅仅是...
在Hadoop YARN的基本架构中,核心组件包括ResourceManager(RM)、NodeManager(NM)和ApplicationMaster(AM)。ResourceManager是集群的中心控制器,负责接收客户端请求,启动和监控ApplicationMaster,监控...
在大数据处理领域,Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目的核心组件之一,主要负责集群资源的管理和调度。YARN优化对于提升整个Hadoop集群的性能至关重要,尤其是在处理大规模数据...
1. **YARN架构**:YARN的核心包括ResourceManager(RM)、NodeManager(NM)和ApplicationMaster(AM)。RM全局管理集群资源,负责分配和回收;NM是每个节点上的代理,监控和管理该节点上的容器;AM则是应用程序的...
《深入剖析Hadoop 2.8.1源码:分布式系统的智慧结晶》 Hadoop,作为开源的大数据处理框架,自2006年诞生以来,一直是大数据领域的重要支柱。其2.8.1版本是Hadoop发展的一个关键节点,为用户提供了更稳定、高效的...
《Hadoop YARN 权威指南》是一本深入解析Hadoop YARN架构和技术细节的专业书籍。YARN(Yet Another Resource Negotiator),是Apache Hadoop生态系统中的核心组件之一,负责管理和调度集群资源,使得大数据处理更加...
【Hadoop YARN基本架构】 Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目中的一个核心组件,它的设计目标是解决早期Hadoop 1.x版本中MapReduce(MRv1)存在的问题,包括扩展性限制、单点故障...
【标题】"实战hadoop中的源码"涵盖了在大数据处理领域深入理解并应用Apache Hadoop的核心技术。Hadoop是开源的分布式计算框架,它允许在大规模集群上存储和处理海量数据。通过研究Hadoop的源码,开发者可以深入了解...
Hadoop 2.0 YARN,全称Yet Another Resource Negotiator,是Apache Hadoop生态系统中的一个核心组件,它在Hadoop 1.0 MapReduce的基础上进行了重大改进,旨在解决资源管理和调度的问题,以提高分布式计算的效率和...
Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop的一个子项目,主要用于优化和提升Hadoop大数据处理平台的资源管理和作业调度能力。它将资源管理和作业调度/监控分离开来,使得集群资源可以被多种...