`

yarn详解

 
阅读更多
问题导读:
1、什么是yarn?
2、Yarn 和MapReduce相比,它有什么特殊作用 ? 
背景
       Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce框架设计的不足,在原MapReduce框架上进行修改变得越来越困难,所以MapReduce的committer们决定从架构上重新设计MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率以及能支持除了MapReduce计算框架外的更多的计算框架。
MapReduce框架的不足
l  JobTracker是集群事务的集中处理点,存在单点故障
l  JobTracker需要完成的任务太多,既要维护job的状态又要维护job的task的状态,造成过多的资源消耗
l  在taskTracker端,用map/reduce task作为资源的表示过于简单,没有考虑到cpu、内存等资源情况,当把两个需要消耗大内存的task调度到一起,很容易出现OOM
l  把资源强制划分为map/reduce slot,当只有map task时,reduce slot不能用;当只有reduce task时,map slot不能用,容易造成资源利用不足。
Yarn架构
       Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。有一个全局的ResourceManager(RM)和每个Application有一个ApplicationMaster(AM),Application相当于map-reduce job或者DAG jobs。ResourceManager和NodeManager(NM)组成了基本的数据计算框架。ResourceManager协调集群的资源利用,任何client或者运行着的applicatitonMaster想要运行job或者task都得向RM申请一定的资源。ApplicatonMaster是一个框架特殊的库,对于MapReduce框架而言有它自己的AM实现,用户也可以实现自己的AM,在运行的时候,AM会与NM一起来启动和监视tasks。
ResourceManager
ResourceManager作为资源的协调者有两个主要的组件:Scheduler和ApplicationsManager(AsM)。
Scheduler负责分配最少但满足application运行所需的资源量给Application。Scheduler只是基于资源的使用情况进行调度,并不负责监视/跟踪application的状态,当然也不会处理失败的task。RM使用resource container概念来管理集群的资源,resource container是资源的抽象,每个container包括一定的内存、IO、网络等资源,不过目前的实现只包括内存一种资源。
ApplicationsManager负责处理client提交的job以及协商第一个container以供applicationMaster运行,并且在applicationMaster失败的时候会重新启动applicationMaster。下面阐述RM具体完成的一些功能。
1、  资源调度
Scheduler从所有运行着的application收到资源请求后构建一个全局的资源分配计划,然后根据application特殊的限制以及全局的一些限制条件分配资源。
2、  资源监视
Scheduler会周期性的接收来自NM的资源使用率的监控信息,另外applicationMaster可以从Scheduler得到属于它的已完成的container的状态信息。
3、  application提交
l  client向AsM获得一个applicationID
l  client将application定义以及需要的jar包文件等上传到hdfs的指定目录,由yarn-site.xml的yarn.app.mapreduce.am.staging-dir指定
l  client构造资源请求的对象以及application的提交上下文发送给AsM
l  AsM接收application的提交上下文
l  AsM根据application的信息向Scheduler协商一个Container供applicationMaster运行,然后启动applicationMaster
l  向该container所属的NM发送launchContainer信息启动该container,也即启动applicationMaster
l  AsM向client提供运行着的AM的状态信息。
4、  AM的生命周期
AsM负责系统中所有AM的生命周期的管理。AsM负责AM的启动,当AM启动后,AM会周期性的向AsM发送heartbeat,默认是1s,AsM据此了解AM的存活情况,并且在AM失败时负责重启AM,若是一定时间过后(默认10分钟)没有收到AM的heartbeat,AsM就认为该AM失败了。
关于ResourceManager的可用性目前还没有很好的实现,不过Cloudera公司的CDH4.4以后的版本实现了一个简单的高可用性,使用了Hadoop-common项目中HA部分的代码,采用了类似hdfs namenode高可用性的设计,给RM引入了active和standby状态,不过没有与journalnode相对应的角色,只是由zookeeper来负责维护RM的状态,这样的设计只是一个最简单的方案,避免了手动重启RM,离真正的生产可用还有一段距离。
NodeManager
NM主要负责启动RM分配给AM的container以及代表AM的container,并且会监视container的运行情况。在启动container的时候,NM会设置一些必要的环境变量以及将container运行所需的jar包、文件等从hdfs下载到本地,也就是所谓的资源本地化;当所有准备工作做好后,才会启动代表该container的脚本将程序启动起来。启动起来后,NM会周期性的监视该container运行占用的资源情况,若是超过了该container所声明的资源量,则会kill掉该container所代表的进程。
另外,NM还提供了一个简单的服务以管理它所在机器的本地目录。Applications可以继续访问本地目录即使那台机器上已经没有了属于它的container在运行。例如,Map-Reduce应用程序使用这个服务存储map output并且shuffle它们给相应的reduce task。
在NM上还可以扩展自己的服务,yarn提供了一个yarn.nodemanager.aux-services的配置项,通过该配置,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的。
NM在本地为每个运行着的application生成如下的目录结构:

Container目录下的目录结构如下:

在启动一个container的时候,NM就执行该container的default_container_executor.sh,该脚本内部会执行launch_container.sh。launch_container.sh会先设置一些环境变量,最后启动执行程序的命令。对于MapReduce而言,启动AM就执行org.apache.hadoop.mapreduce.v2.app.MRAppMaster;启动map/reduce task就执行org.apache.hadoop.mapred.YarnChild。
ApplicationMaster
  ApplicationMaster是一个框架特殊的库,对于Map-Reduce计算模型而言有它自己的applicationMaster实现,对于其他的想要运行在yarn上的计算模型而言,必须得实现针对该计算模型的applicaitonMaster用以向RM申请资源运行task,比如运行在yarn上的spark框架也有对应的applicationMaster实现,归根结底,yarn是一个资源管理的框架,并不是一个计算框架,要想在yarn上运行应用程序,还得有特定的计算框架的实现。由于yarn是伴随着MRv2一起出现的,所以下面简要概述MRv2在yarn上的运行流程。
MRv2运行流程:
1、  MR JobClient向resourceManager(AsM)提交一个job
2、  AsM向Scheduler请求一个供MR AM运行的container,然后启动它
3、  MR AM启动起来后向AsM注册
4、  MR JobClient向AsM获取到MR AM相关的信息,然后直接与MR AM进行通信
5、  MR AM计算splits并为所有的map构造资源请求
6、  MR AM做一些必要的MR OutputCommitter的准备工作
7、  MR AM向RM(Scheduler)发起资源请求,得到一组供map/reduce task运行的container,然后与NM一起对每一个container执行一些必要的任务,包括
资源本地化等
8、  MR AM 监视运行着的task 直到完成,当task失败时,申请新的container运行失败的task
9、  当每个map/reduce task完成后,MR AM运行MR OutputCommitter的cleanup 代码,也就是进行一些收尾工作
10、当所有的map/reduce完成后,MR AM运行OutputCommitter的必要的job commit或者abort APIs
11、MR AM退出。
Yarn上写应用程序     
    在yarn上写应用程序并不同于我们熟知的MapReduce应用程序,必须牢记yarn只是一个资源管理的框架,并不是一个计算框架,计算框架可以运行在yarn上。我们所能做的就是向RM申请container,然后配合NM一起来启动container。就像MRv2一样,jobclient请求用于MR AM运行的container,设置环境变量和启动命令,然后交由NM去启动MR AM,随后map/reduce task就由MR AM全权负责,当然task的启动也是由MR AM向RM申请container,然后配合NM一起来启动的。所以要想在yarn上运行非特定计算框架的程序,我们就得实现自己的client和applicationMaster。另外我们自定义的AM需要放在各个NM的classpath下,因为AM可能运行在任何NM所在的机器上。
1
2
分享到:
评论

相关推荐

    Hadoop资源管理器YARN详解

    ### Hadoop资源管理器YARN详解 #### 一、引言 随着大数据处理需求的日益增长,Hadoop作为主流的大数据处理平台之一,其资源管理能力对于提高整体系统的性能至关重要。YARN(Yet Another Resource Negotiator)是...

    Apache Hadoop:Hadoop资源管理器YARN详解.docx

    Apache Hadoop:Hadoop资源管理器YARN详解.docx

    Hadoop的yarn详解

    Hadoop的YARN架构是Hadoop版本2.x引入的一个重要组件,它负责处理资源管理和作业调度,而核心的计算任务处理则交给了MapReduce、Tez、Spark等计算框架。YARN的出现是为了解决Hadoop早期版本中的可扩展性问题,它通过...

    Hadoop新框架Yarn详解.pdf

    【Hadoop YARN框架详解】 YARN,全称为Yet Another Resource Negotiator,是Apache Hadoop项目自0.23.0版本引入的新一代资源管理框架,旨在解决原Hadoop MapReduce框架的诸多问题,提高可扩展性、资源利用率和整体...

    Hadoop新框架Yarn详解.docx

    YARN(Yet Another Resource Negotiator),是Apache Hadoop 2.x版本引入的新一代计算框架,旨在解决原版Hadoop MapReduce存在的问题,特别是资源管理和调度的效率以及系统的可扩展性。YARN的核心理念是将JobTracker...

    Hadoop Yarn详解

    在这样的背景下,Hadoop YARN应运而生,YARN(Yet Another Resource Negotiator)是Hadoop的一个重要组件,它将资源管理和作业调度/监控的功能从MapReduce框架中抽离出来,使得Hadoop不仅可以运行MapReduce程序,还...

    Hadoop新MapReduce框架Yarn详解

    对于业界的大数据存储及分布式处理系统来说,Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架,对于Hadoop框架的介绍在此不再累述,读者可参考Hadoop官方简介。使用和学习过老Hadoop框架(0.20.0及之前版本)的...

    Python库 | dask-yarn-0.6.0.tar.gz

    **Python库dask-yarn详解** `dask-yarn`是Python中用于在Apache Hadoop YARN(Yet Another Resource Negotiator)集群上运行Dask分布式计算框架的一个扩展库。Dask是一个灵活的并行计算库,它允许用户在单个机器或...

    Sparkjobsubmit.zip

    《Spark作业提交到YARN详解:无需本地Hadoop环境的批量入门指南》 在大数据处理领域,Apache Spark因其高效、易用的特点而受到广泛应用。Spark不仅支持独立模式运行,还能与Hadoop YARN(Yet Another Resource ...

    hadoop从入门到精通课件pdf

    - YARN详解:资源调度器的工作原理,Container的概念,以及ResourceManager和ApplicationMaster的角色。 3. **第五章:高级Hadoop 2.x** - 高级HDFS操作:如数据恢复、数据安全、性能优化和故障排查等。 - ...

    hadoop-2.5.0-cdh5.3.6-src.tar.gz

    6. YARN详解: YARN将资源管理和应用程序管理分离,Resource Manager全局调度资源,Application Master负责具体应用的执行。源码中的`yarn-server`和`yarn-client`分别对应服务端和客户端的实现。 7. 部署与应用:...

    hadoop面试题大全

    6. **YARN详解** YARN(Yet Another Resource Negotiator)是Hadoop 2.x引入的资源管理系统,它将资源管理和任务调度功能从JobTracker中分离出来,提高了系统的可扩展性和资源利用率。 7. **Hadoop面试常见问题** ...

    hadoop的资源.zip

    5. YARN详解:了解YARN的架构,容器管理和资源调度机制,以及如何管理和优化YARN的性能。 6. 实战项目:通过真实的数据集进行案例分析,解决实际问题,例如日志分析、推荐系统等。 7. 高级主题:如Hadoop的性能...

    Hadoop 2.x

    **四、YARN详解** 1. **资源调度器**:YARN的资源调度器负责分配集群中的计算资源,如CPU和内存。 2. **Application Master**:每个应用程序有自己的Application Master,它与Resource Manager交互,获取资源并...

    hadoop2.6基于yarn安装配置详解.pdf

    hadoop2.6基于yarn安装配置详解.pdf

    hadoop-2.4.0.tar.gz

    1. **YARN详解:** - ResourceManager:全局资源管理器,负责集群的总体资源分配和调度。 - NodeManager:每个节点上的资源管理器,负责本地节点的资源管理和监控。 - ApplicationMaster:每个应用的资源协调者,...

    最新yarn-1.22.5的windows的msi安装版本

    **Yarn 1.22.5 Windows MSI 安装详解** Yarn 是一个现代的、高性能的包管理器,它被广泛应用于JavaScript开发中,用于管理和安装项目依赖。相较于npm,Yarn 提供了更稳定的环境、更快的安装速度以及更好的并行处理...

    Hadoop Real World Solutions Cookbook - Second Edition

    4. **YARN详解**:YARN作为Hadoop的资源管理系统,负责调度和管理集群中的计算资源。书中会讲解YARN的架构,以及ResourceManager、ApplicationMaster和NodeManager的角色,帮助读者理解YARN如何优化集群资源利用率。...

    hadoop-2.4.0(part3【final】)

    1. **YARN详解**:YARN是Hadoop 2.x的核心变化,它将原本MapReduce的JobTracker职责拆分为两个独立的角色:ResourceManager(RM)和NodeManager(NM)。ResourceManager负责全局的资源调度和管理,而NodeManager则在...

Global site tag (gtag.js) - Google Analytics