介绍
本文档给出NodeManager(NM) restart的概览,该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看,NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时,它首先为各个子系统加载state信息,之后让这些子系统利用加载的state重新执行恢复。
启用NM Restart
Step 1. 启用NM Restart功能,设置conf/yarn-site.xml中的以下属性为true。
Property | Value |
yarn.nodemanager.recovery.enabled | true, (默认值为false) |
Step 2.配置NodeManager可以保存它的run state的本地文件系统目录。
Property | Description |
yarn.nodemanager.recovery.dir | 当recovery启用之后,node manager可以保存state信息的本地文件系统目录。默认值为$hadoop.tmp.dir/yarn-nm-recovery |
Step 3. 为NodeManager配置一个有效的RPC地址
Property | Description |
yarn.nodemanager.address | 临时性端口不能用于NodeManager的RPC server,因为它会导致NM重启前后使用不同的端口。这会使得之前运行的与NM通信的client断开。明确设置yarn.nodemanager.address 为包含端口号的地址是启用NM Restart的前提条件。 |
Step 4. Auxiliary services.
- 在YARN集群中,NodeManager可以配置为运行auxiliary services. 完整的NM Restart功能依赖任何auxiliary service都要配置为支持recovery。这通常包括:(1)避免使用临时性端口,以便之前运行中的client(在这个场景下,通常为container)在重启之后不会中断(2)当NodeManager重启和重新初始化auxiliary service时,确保auxiliary service自身支持通过加载之前的state可以恢复的能力,
- 对于上述auxiliary service的一个简单样例就是MapReduce(MR)的‘ShuffleHandler’。ShuffleHandler已经满足上述两个必要条件,所以用户/admin 不需要做任何事情来支持NM Restart. (1)配置项mapreduce.shuffle.port 控制NodeManager host上的ShuffleHandler绑定的端口,它默认为一个非临时性端口。(2)ShuffleHandler service也已经支持NM重启之后恢复之前的state。
相关推荐
1. YARN改进:在Hadoop 2.7.2中,YARN(Yet Another Resource Negotiator)进一步提升了资源管理效率,优化了任务调度算法,降低了作业启动延迟,增强了系统的整体性能。 2. HDFS增强:增加了对大文件的支持,改进...
Hadoop 2.7.2 是一个开源框架,主要用于分布式存储和计算,是大数据处理领域的重要组成部分。这个版本的Hadoop在2015年发布,提供了许多改进和新特性,使得它能在各种Linux环境下稳定运行,从而满足企业对大规模数据...
在源码中,`hadoop-yarn-project`目录包含了ResourceManager、NodeManager、ApplicationMaster等相关组件的源代码。 4. **Common模块**:`hadoop-common`包含了Hadoop框架的公共库,包括网络通信、配置管理、安全、...
这个"Hadoop_2.7.2安装包.rar"包含了Hadoop 2.7.2版本的所有组件,供用户在本地或者集群环境中搭建大数据处理平台。在这个版本中,Hadoop已经相当成熟,提供了稳定性和性能优化。 在安装Hadoop之前,我们需要了解...
标题 "hadoop-2.7.2-win10_x64.7z" 提供了关键信息,这是一款针对64位Windows 10系统的Hadoop版本,版本号为2.7.2,并且已经过编译,可以预期在解压后直接运行。Hadoop是一个开源的分布式计算框架,由Apache软件基金...
在Windows 10 64位系统上安装和配置Hadoop 2.7.2版本,可以利用提供的jar包来搭建本地环境,这对于学习和测试Hadoop功能非常方便。以下是关于Hadoop在Windows上的安装、配置以及环境变量设置的详细步骤和相关知识点...
Hadoop 2.7.2版本引入了YARN(Yet Another Resource Negotiator),作为资源管理器,负责集群资源的调度和分配,提升了系统的整体性能和灵活性。 在CentOS上安装Hadoop 2.7.2,首先需要准备一个干净的操作系统环境...
apahe hadoop2.7.2 官方文档,离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem ...
配置Hadoop的配置文件(如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`),并启动DataNode、NameNode、ResourceManager和NodeManager等服务。 8. **应用场景**:在Windows上的Hadoop ...
Hadoop2.7.2是Hadoop的稳定版本,包含了YARN(Yet Another Resource Negotiator),这是一个资源管理和调度框架,改善了Hadoop1.x中的JobTracker单一瓶颈问题,实现了更细粒度的资源调度和管理。 HBase是基于Hadoop...
在本文中,我们将深入探讨如何在CentOS 6.7操作系统上编译并安装Hadoop 2.7.2。Hadoop是一个开源的分布式计算框架,由Apache软件基金会开发,用于处理和存储大规模数据集。它主要由两个核心组件构成:Hadoop ...
hadoop-2.7.2安装包,解压至/opt/module文件夹 启动HDFS只需要敲入命令行:sbin/hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode 启动YARN: sbin/yarn-daemon.sh start|stop resourcemanager|...
接着,你需要下载Hadoop 2.7.2的安装包,这正是"Hadoop2.7.2LIUNX集群(1)所需hadoop.gz"文件的作用。这是一个RAR压缩文件,需要先使用解压工具(如unrar)将其解压。解压后,你会得到Hadoop的相关配置文件和可执行...
在本主题中,我们将深入探讨如何在Linux环境中配置和使用Hadoop 2.7.2集群,特别是关于HDFS-over-FTP的重构。Hadoop Distributed File System (HDFS)是Hadoop生态系统的核心部分,它提供了分布式存储解决方案,而...
本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群,同时也会提及到Java开发工具集(JDK)8u144的安装,因为Hadoop运行需要Java环境的支持。 首先,我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...
7. **启动Hadoop服务**:通过运行`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop的DataNode、NameNode、ResourceManager和NodeManager等服务。 8. **测试Hadoop**:使用`hadoop fs -ls /`命令检查Hadoop是否正常...
总之,`hadoop2.7.2windows10编译后的bin目录文件`包含了运行Hadoop集群所需的各种核心工具,通过这些工具,我们可以对Hadoop集群进行管理、监控和数据处理,是理解和操作Hadoop不可或缺的一部分。在Windows 10上...
《Hadoop 2.7.2在Windows环境下的部署与应用》 Hadoop是一个开源的分布式计算框架,它由Apache基金会开发,旨在处理和存储大量数据。本文将围绕Hadoop 2.7.2版本在Windows环境下的安装、配置及使用进行详细讲解,...
在本文中,我们将详细探讨如何在CentOS 7 x86-64位操作系统上安装配置Java JDK 1.8和Hadoop 2.7.2。这是一个关键的步骤,因为Hadoop是一个分布式计算框架,它依赖于Java来运行其核心服务。 首先,确保你的系统是...
2.7.2是Hadoop的一个稳定版本,提供了许多重要的改进和优化。这个版本的源码可以帮助开发者深入了解Hadoop的工作原理,以及如何针对自己的需求进行定制和扩展。 在Hadoop 2.7.2源码中,主要包括以下几个核心组件: ...