apache hadoop 2

apache hadoop 2.x 是在1.x版本上做了重大的改进。

以下是一个关于HDFS和MapReduce的简短的改进概述。

 

HDFS Federation

为了提升name service 的水平扩展性，federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有namenode提供通用的blocks存储服务。每个datanode注册到集群中所有的namenode上。datanode发送heartbeats、block reports和执行从namenode传来的命令。

 

下一代MapReduce，又名YARN或MRv2

新的架构在hadoop-0.23已经介绍过了，把jobtracker划分成两个主要功能：resource management和job 生命周期管理组件。

新的ResourceManager负责计算机全部资源的分配工作，每个应用的ApplicationMaster管理应用调度和协作工作。

一个应用可以是在原mapreduce那样单一的job或者一组有序任务。

ResourceManager 和每个机器的NodeManager守护进程，负责管理机器上的用户进程，形成计算模型。

实际上每个应用的ApplicationMaster是架构中具体的library，负责向ResourceManager 协调资源，与NodeManager(s)一起协作完成任务执行和监控的工作。