转载自:http://www.iteye.com/news/28387
Apache基金会近日正式发布了Hadoop 2.2版本,该版本是Hadoop 2.x分支中的首个稳定版本(2.0.x为alpha版本,2.1.x为beta版本),标志着Hadoop 2时代的正式到来。
Apache建议用户升级至最新版本,因为这个版本更加稳定,并保持与之前版本API和相关协议条款的兼容。与Hadoop 1.x相比,Hadoop 2的主要亮点如下:
- 新的Hadoop MapReduce框架YARN
- HDFS高可用性
- HDFS Federation(HDFS联盟):使得HDFS支持多个命名空间,并且允许在HDFS中同时存在多个Name Node
- HDFS快照
- NFSv3可访问HDFS中的数据
- 支持在Windows平台上运行Hadoop
- 兼容基于Hadoop 1.x构建的MapReduce应用
- 大量针对生态系统中其他项目的集成测试
此外,从Hadoop 1.x升级到2.2需要注意以下事情:
- HDFS社区建议将symlinks功能从2.3版本中移除,目前该功能已停用
- 在新的YARN/MapReduce中,用户需要更改ShuffleHandler服务名称——需要将mapreduce.shuffle改为mapreduce_shuffle
相关推荐
### Hadoop MapReduce V2 知识点概览 #### 一、Hadoop MapReduce V2 生态系统介绍 **Hadoop MapReduce V2** 是Hadoop生态系统中的一个关键组件,用于处理大规模数据集。相较于V1版本,V2版本在架构上进行了重大...
《Hadoop MapReduce v2 Cookbook》是一本针对大数据处理领域的重要参考书籍,专注于介绍Hadoop MapReduce的最新版本——v2(也称为YARN,Yet Another Resource Negotiator)。Hadoop MapReduce是Apache Hadoop框架的...
hadoop_v2_01a.mp4、hadoop_v2_01b.mp4、hadoop_v2_01c.mp4、hadoop_v2_01d.mp4、hadoop_v2_01e.mp4、hadoop_v2_02a.mp4、hadoop_v2_02b.mp4视频大小:4.98G
Hadoop MapReduce v2 Cookbook (第二版), Packt Publishing
hadoop-train-v2-1.0.jar
《Hadoop.MapReduce.v2.Cookbook》是一本专注于Hadoop MapReduce v2(也称为YARN)的实用指南,适合那些希望深入了解和利用Hadoop处理大数据的IT专业人士。这本书籍详细介绍了如何在Hadoop 2.x环境中有效地设计、...
【后Hadoop时代的大数据架构】是指随着技术的演进,大数据分析平台不再仅依赖于Hadoop单一技术栈,而是出现了更多与之互补的选择。Hadoop作为开源数据分析平台的先驱,自2000年代末至今,历经多次版本迭代,如从0.x...
5、Hadoop MapReduce v2 Cookbook 2nd Edition.pdf 6、Hadoop Operations and Cluster Management Cookbook.pdf 7、Hadoop Real-world Solutions Cookbook.pdf 8、Hadoop The Definitive Guide 2nd Edition.pdf 9、...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...
Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...
在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。 在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。 Hadoop3.x在组成上没有变化Hadoop ...
在大数据时代,Hadoop作为分布式系统的基础架构,已经成为处理海量数据的核心技术之一。Hadoop允许用户轻松地在分布式环境中开发和运行应用程序,但要想掌握其使用技巧,对于初学者而言并不是一件容易的事情。以下...
这是一个针对Hadoop 2.x(YARN)版本的插件,支持新的MapReduce v2 API。在这个版本中,开发者不仅可以处理Classic MapReduce任务,还可以处理基于YARN的Modern MapReduce任务。此外,2.8.0版本增加了更多特性,例如...
04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...