`
han_zw
  • 浏览: 174183 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

hadoop 2.7.2 yarn 中文文档——架构

 
阅读更多

ResourceManager和NodeManager一起构成数据计算框架。ResourceManager是系统中所有应用程序资源决策的最高权威。NodeManager是部署在每台机器的框架的agent,它负责管理各个容器,监控机器的资源使用情况(CPU、内存、存储,网络),以及将这些信息上报给ResourceManager。

每个应用程序的ApplicationMaster实际上是一个框架的中的特定library,它的职责就是与ResourceManager协商资源以及与NodeManager协作队任务进行执行和监管。


 
ResourceManager有两个主要组件:Scheduler 和 ApplicationManager.

Scheduler负责各个队列、应用程序间的集群资源分区,它具有可插拔的特性,当前的已有的调度器CapacityScheduler和FairScheduler就是插件的示例。

with previous stable release (hadoop-1.x). This means that all MapReduce jobs should still run unchanged on top of YARN with just a recompile.
hadoop-2.x中的MapReduce保留了与之前稳定版(hadoop-1.x)的API 兼容性。意思是说所有的Mapreduce作业只是需要重新编译后无需其他改变即可运行在YARN上。

 

下一篇: hadoop 2.7.2 yarn中文文档—— Capacity Scheduler

  • 大小: 32.3 KB
分享到:
评论

相关推荐

    hadoop2.7.2(window版本).zip

    Hadoop 2.7.2引入了YARN(Yet Another Resource Negotiator),作为资源管理框架,负责调度和管理集群中的计算资源。相比早期版本,YARN提高了系统的可扩展性和安全性,降低了MapReduce的耦合度,使得其他计算框架如...

    hadoop2.7.2(Linux版本).zip

    1. YARN改进:在Hadoop 2.7.2中,YARN(Yet Another Resource Negotiator)进一步提升了资源管理效率,优化了任务调度算法,降低了作业启动延迟,增强了系统的整体性能。 2. HDFS增强:增加了对大文件的支持,改进...

    hadoop-2.7.2.rar

    YARN(Yet Another Resource Negotiator)作为MapReduce 2的主要改进,分离了资源管理和作业调度,使得Hadoop能够更好地支持多种计算框架,如Spark、Tez等。 在Linux环境下部署Hadoop 2.7.2,首先需要在Window上解...

    hadoop-2.7.2资源

    描述中提到的"下载资源hadoop2.7.2资源包"意味着你可以在这个链接(https://archive.apache.org/dist/hadoop/common/)找到官方发布的Hadoop 2.7.2版本,这是获取开源软件的可靠渠道。用户可以在这里下载到二进制和...

    hadoop-2.7.2.tar.gz

    Hadoop 2.7.2 是一个开源框架,主要用于分布式存储和计算,是大数据处理领域的重要组成部分。这个版本的Hadoop在2015年发布,提供了许多改进和新特性,使得它能在各种Linux环境下稳定运行,从而满足企业对大规模数据...

    hadoop2.7.2源码包

    Apache Hadoop 2.7.2 是一个广泛使用的开源框架,专为分布式存储和计算而设计,是大数据处理领域的重要工具。源码包提供了一窥Hadoop内部运作机制的机会,对于开发者、研究者以及想要深入理解Hadoop工作原理的人来说...

    Hadoop2.7.2伪分布部署

    Hadoop2.7.2是该系统的一个稳定版本。伪分布部署是指在单机上模拟分布式环境运行Hadoop的过程,即一个节点既是NameNode也是DataNode,既执行Master角色又执行Slave角色,这为开发者在没有多台机器的情况下也能体验和...

    hadoop2.7.2安装依赖文件.zip

    在这个名为“hadoop2.7.2安装依赖文件.zip”的压缩包中,包含了一系列在Windows环境下安装和运行Hadoop 2.7.2版本所必需的组件。下面我们将详细探讨这些文件及其在Hadoop生态系统中的作用。 首先,`hadoop.dll`是一...

    window版本下的hadoop 2.7.2版本的hadoop.dll和winutils.exe

    本文将详细介绍这两个组件以及如何在Windows系统下配置Hadoop 2.7.2版本的开发环境。 首先,`hadoop.dll`是Hadoop在Windows平台上的一个动态链接库文件,它包含了Hadoop运行所需的特定功能。由于Hadoop主要设计为在...

    hadoop2.7.2的hadoop.dll和winutils.exe

    8. **启动Hadoop服务**:最后,通过start-dfs.cmd和start-yarn.cmd脚本启动Hadoop的DataNodes、NameNodes以及ResourceManager等服务。 以上就是在Windows 7环境中安装和配置Hadoop 2.7.2所需的关键步骤,其中hadoop...

    hadoop2.7.2HA集群安装

    本文档将详细介绍如何搭建一个Hadoop 2.7.2版本的高可用(High Availability,简称HA)集群。此集群将包含五台服务器,分别命名为cancer01至cancer05,其中两台作为NameNode节点(活跃与备用),一台作为JournalNode...

    Hadoop_2.7.2安装包.rar

    这个"Hadoop_2.7.2安装包.rar"包含了Hadoop 2.7.2版本的所有组件,供用户在本地或者集群环境中搭建大数据处理平台。在这个版本中,Hadoop已经相当成熟,提供了稳定性和性能优化。 在安装Hadoop之前,我们需要了解...

    win10下编译过的hadoop2.7.2 jar包

    这个压缩包文件“win10下编译过的hadoop2.7.2 jar包”是专门为在Windows 10操作系统上运行Hadoop 2.7.2版本而准备的。这个版本的Hadoop包含了所有必要的库文件和依赖,使得开发者能够在本地环境中配置和运行Hadoop...

    hadoop2.7.2依赖文件

    在部署Hadoop 2.7.2之前,建议先熟悉Hadoop的基本概念和架构,理解HDFS和MapReduce的工作原理,以便更好地理解和解决可能出现的问题。同时,由于官方对Windows的支持不如Linux完善,用户可能需要查阅社区文档、论坛...

    windows下编译过的hadoop2.7.2的jar包

    Hadoop 2.7.2是Hadoop发展中的一个重要版本,它提供了稳定性和性能上的改进。本话题将详细探讨在Windows环境下编译Hadoop 2.7.2的过程以及相关知识点。 首先,我们来理解Hadoop的核心组件。Hadoop主要由两个主要...

    hadoop-2.7.2-hbase-jar.tar.gz

    《Hadoop 2.7.2与HBase的集成——深入理解hadoop-2.7.2-hbase-jar.tar.gz》 Hadoop是Apache软件基金会的一个开源项目,它为大规模数据处理提供了一个分布式计算框架。Hadoop的核心包括HDFS(Hadoop Distributed ...

    hadoop-2.7.2-win10_x64.7z

    标题 "hadoop-2.7.2-win10_x64.7z" 提供了关键信息,这是一款针对64位Windows 10系统的Hadoop版本,版本号为2.7.2,并且已经过编译,可以预期在解压后直接运行。Hadoop是一个开源的分布式计算框架,由Apache软件基金...

    hadoop-2.7.2.zip

    `hadoop-2.7.2.tar.gz`是Hadoop 2.7.2的核心组件和库的打包文件,解压后将包含所有必要的二进制文件、配置文件、文档以及示例。这个文件通常在Linux服务器上通过`tar -zxvf hadoop-2.7.2.tar.gz`命令进行解压,然后...

    win7下编译过的hadoop2.7.2

    但是,通过一些特定的步骤,可以在Windows系统上编译和使用Hadoop,而提供的“win7下编译过的hadoop2.7.2”文件正是为了简化这一过程。 首先,我们来看一下Hadoop在Windows上的编译步骤。在Windows 7环境下编译...

Global site tag (gtag.js) - Google Analytics