`
han_zw
  • 浏览: 174398 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

hadoop 2.7.2 yarn中文文档——NodeManager 重启

 
阅读更多
介绍
本文档给出NodeManager(NM) restart的概览,该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看,NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时,它首先为各个子系统加载state信息,之后让这些子系统利用加载的state重新执行恢复。
启用NM Restart
Step 1. 启用NM Restart功能,设置conf/yarn-site.xml中的以下属性为true。
Property Value
yarn.nodemanager.recovery.enabled true, (默认值为false)
Step 2.配置NodeManager可以保存它的run state的本地文件系统目录。
Property Description
yarn.nodemanager.recovery.dir 当recovery启用之后,node manager可以保存state信息的本地文件系统目录。默认值为$hadoop.tmp.dir/yarn-nm-recovery
Step 3. 为NodeManager配置一个有效的RPC地址
Property Description
yarn.nodemanager.address 临时性端口不能用于NodeManager的RPC server,因为它会导致NM重启前后使用不同的端口。这会使得之前运行的与NM通信的client断开。明确设置yarn.nodemanager.address 为包含端口号的地址是启用NM Restart的前提条件。
Step 4. Auxiliary services.
  • 在YARN集群中,NodeManager可以配置为运行auxiliary services. 完整的NM Restart功能依赖任何auxiliary service都要配置为支持recovery。这通常包括:(1)避免使用临时性端口,以便之前运行中的client(在这个场景下,通常为container)在重启之后不会中断(2)当NodeManager重启和重新初始化auxiliary service时,确保auxiliary service自身支持通过加载之前的state可以恢复的能力,
  • 对于上述auxiliary service的一个简单样例就是MapReduce(MR)的‘ShuffleHandler’。ShuffleHandler已经满足上述两个必要条件,所以用户/admin 不需要做任何事情来支持NM Restart. (1)配置项mapreduce.shuffle.port 控制NodeManager host上的ShuffleHandler绑定的端口,它默认为一个非临时性端口。(2)ShuffleHandler service也已经支持NM重启之后恢复之前的state。
分享到:
评论

相关推荐

    hadoop2.7.2(Linux版本).zip

    1. YARN改进:在Hadoop 2.7.2中,YARN(Yet Another Resource Negotiator)进一步提升了资源管理效率,优化了任务调度算法,降低了作业启动延迟,增强了系统的整体性能。 2. HDFS增强:增加了对大文件的支持,改进...

    hadoop-2.7.2.tar.gz

    Hadoop 2.7.2 是一个开源框架,主要用于分布式存储和计算,是大数据处理领域的重要组成部分。这个版本的Hadoop在2015年发布,提供了许多改进和新特性,使得它能在各种Linux环境下稳定运行,从而满足企业对大规模数据...

    hadoop2.7.2源码包

    在源码中,`hadoop-yarn-project`目录包含了ResourceManager、NodeManager、ApplicationMaster等相关组件的源代码。 4. **Common模块**:`hadoop-common`包含了Hadoop框架的公共库,包括网络通信、配置管理、安全、...

    Hadoop_2.7.2安装包.rar

    这个"Hadoop_2.7.2安装包.rar"包含了Hadoop 2.7.2版本的所有组件,供用户在本地或者集群环境中搭建大数据处理平台。在这个版本中,Hadoop已经相当成熟,提供了稳定性和性能优化。 在安装Hadoop之前,我们需要了解...

    hadoop-2.7.2-win10_x64.7z

    标题 "hadoop-2.7.2-win10_x64.7z" 提供了关键信息,这是一款针对64位Windows 10系统的Hadoop版本,版本号为2.7.2,并且已经过编译,可以预期在解压后直接运行。Hadoop是一个开源的分布式计算框架,由Apache软件基金...

    win10 64位的hadoop2.7.2的jar包,直接解压配置环境变量可用

    在Windows 10 64位系统上安装和配置Hadoop 2.7.2版本,可以利用提供的jar包来搭建本地环境,这对于学习和测试Hadoop功能非常方便。以下是关于Hadoop在Windows上的安装、配置以及环境变量设置的详细步骤和相关知识点...

    hadoop-2.7.2.zip

    Hadoop 2.7.2版本引入了YARN(Yet Another Resource Negotiator),作为资源管理器,负责集群资源的调度和分配,提升了系统的整体性能和灵活性。 在CentOS上安装Hadoop 2.7.2,首先需要准备一个干净的操作系统环境...

    apache hadoop 2.7.2.chm

    apahe hadoop2.7.2 官方文档,离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem ...

    window10下编译的hadoop2.7.2

    配置Hadoop的配置文件(如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`),并启动DataNode、NameNode、ResourceManager和NodeManager等服务。 8. **应用场景**:在Windows上的Hadoop ...

    hadoop2.7.2 +hbase1.2.0

    Hadoop2.7.2是Hadoop的稳定版本,包含了YARN(Yet Another Resource Negotiator),这是一个资源管理和调度框架,改善了Hadoop1.x中的JobTracker单一瓶颈问题,实现了更细粒度的资源调度和管理。 HBase是基于Hadoop...

    centos6.7编译的hadoop2.7.2

    在本文中,我们将深入探讨如何在CentOS 6.7操作系统上编译并安装Hadoop 2.7.2。Hadoop是一个开源的分布式计算框架,由Apache软件基金会开发,用于处理和存储大规模数据集。它主要由两个核心组件构成:Hadoop ...

    hadoop-2.7.2.rar

    hadoop-2.7.2安装包,解压至/opt/module文件夹 启动HDFS只需要敲入命令行:sbin/hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode 启动YARN: sbin/yarn-daemon.sh start|stop resourcemanager|...

    Hadoop2.7.2LIUNX集群(1)所需hadoop.gz.rar

    接着,你需要下载Hadoop 2.7.2的安装包,这正是"Hadoop2.7.2LIUNX集群(1)所需hadoop.gz"文件的作用。这是一个RAR压缩文件,需要先使用解压工具(如unrar)将其解压。解压后,你会得到Hadoop的相关配置文件和可执行...

    Hadoop2.7.2LIUNX集群(5)集群hdfs-over-ftp重构2.7.2,直接使用

    在本主题中,我们将深入探讨如何在Linux环境中配置和使用Hadoop 2.7.2集群,特别是关于HDFS-over-FTP的重构。Hadoop Distributed File System (HDFS)是Hadoop生态系统的核心部分,它提供了分布式存储解决方案,而...

    hadoop2.7.2集群_centos7 环境搭建

    本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群,同时也会提及到Java开发工具集(JDK)8u144的安装,因为Hadoop运行需要Java环境的支持。 首先,我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...

    hadoop-2.7.2---win10.zip

    7. **启动Hadoop服务**:通过运行`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop的DataNode、NameNode、ResourceManager和NodeManager等服务。 8. **测试Hadoop**:使用`hadoop fs -ls /`命令检查Hadoop是否正常...

    hadoop2.7.2windows10编译后的bin目录文件

    总之,`hadoop2.7.2windows10编译后的bin目录文件`包含了运行Hadoop集群所需的各种核心工具,通过这些工具,我们可以对Hadoop集群进行管理、监控和数据处理,是理解和操作Hadoop不可或缺的一部分。在Windows 10上...

    hadoop-2.7.2_win.zip

    《Hadoop 2.7.2在Windows环境下的部署与应用》 Hadoop是一个开源的分布式计算框架,它由Apache基金会开发,旨在处理和存储大量数据。本文将围绕Hadoop 2.7.2版本在Windows环境下的安装、配置及使用进行详细讲解,...

    CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署.docx

    在本文中,我们将详细探讨如何在CentOS 7 x86-64位操作系统上安装配置Java JDK 1.8和Hadoop 2.7.2。这是一个关键的步骤,因为Hadoop是一个分布式计算框架,它依赖于Java来运行其核心服务。 首先,确保你的系统是...

    hadoop 2.7.2 源码

    2.7.2是Hadoop的一个稳定版本,提供了许多重要的改进和优化。这个版本的源码可以帮助开发者深入了解Hadoop的工作原理,以及如何针对自己的需求进行定制和扩展。 在Hadoop 2.7.2源码中,主要包括以下几个核心组件: ...

Global site tag (gtag.js) - Google Analytics