hadoop 2(0.23.x) 与 0.20.x比较

以下大部分内容来自网络,这里主要是进行学习,比较

 

1、Hadoop 0.20.*的局限性

HDFS单NameNode的不足
1）扩展性问题。可以随着数据量进行水平扩展，而元数据服务器不能扩展。
 
   2）随着文件数目的增长，元数据服务器的压力变大。据统计，2.5亿个文件在NameNode中Namespace占据  的大概64GB的内存空间。
    3）文件操作的吞吐率受到单个元数据服务器的限制。目前，Hadoop 0.20.*版本可以达到120k readops/sec，6000 writeops/sec.
    4)隔离性的问题。

MapReduce编程模型与运行时环境紧耦合
1）集群资源利用率较低。整个集群资源按照固定Slot为单位进行资源分配，没有考虑MapTask、ReduceTask任务的特点和逻辑关系进行不同的配置。

   2)仅支持MapReduce编程模型。

单个JobTracker的单点故障和扩展性

1）JobTracker的负载较重。JobTracker负责作业和任务的初始化、以及提供TaskTracker的RPC Server、任务的调度等任务。因此，JobTracker一旦故障，所有执行的任务的状况丢失。

   2）扩展性问题。

 

2.Hadoop-2(0.23)的New Features

HDFS Federation

1) Namespace与block Management解耦。

 

MapReduce NextGen aka YARN

1）编程模型与运行时框架解耦。 

2）运行时环境的扩展性与单点故障问题。

 

 

可见,hadoop 2是针对性地解决了hadoop 0.20.x中的问题.

 

ref:

Hadoop0.23.0初探1---前因后果

 

补充一下线上资源:

• 1.0.X - current stable version, 1.0 release
• 1.1.X - current beta version, 1.1 release
• 2.X.X - current alpha version
• 0.23.X - simmilar to 2.X.X but missing NN HA.
• 0.22.X - does not include security
• 0.20.203.X - legacy stable version
• 0.20.X - legacy version