`

Hadoop v2 时代正式到来()

 
阅读更多

转载自:http://www.iteye.com/news/28387

Apache基金会近日正式发布了Hadoop 2.2版本,该版本是Hadoop 2.x分支中的首个稳定版本(2.0.x为alpha版本,2.1.x为beta版本),标志着Hadoop 2时代的正式到来。


Apache建议用户升级至最新版本,因为这个版本更加稳定,并保持与之前版本API和相关协议条款的兼容。与Hadoop 1.x相比,Hadoop 2的主要亮点如下:

  • 新的Hadoop MapReduce框架YARN
  • HDFS高可用性
  • HDFS Federation(HDFS联盟):使得HDFS支持多个命名空间,并且允许在HDFS中同时存在多个Name Node
  • HDFS快照
  • NFSv3可访问HDFS中的数据
  • 支持在Windows平台上运行Hadoop
  • 兼容基于Hadoop 1.x构建的MapReduce应用
  • 大量针对生态系统中其他项目的集成测试

此外,从Hadoop 1.x升级到2.2需要注意以下事情:

  • HDFS社区建议将symlinks功能从2.3版本中移除,目前该功能已停用
  • 在新的YARN/MapReduce中,用户需要更改ShuffleHandler服务名称——需要将mapreduce.shuffle改为mapreduce_shuffle

详细信息Hadoop 2.2.0发行说明

官网http://hadoop.apache.org/

分享到:
评论

相关推荐

    Hadoop MapReduce v2 Cookbook, 2nd Edition-Packt Publishing(2015) 高清完整版PDF下载

    ### Hadoop MapReduce V2 知识点概览 #### 一、Hadoop MapReduce V2 生态系统介绍 **Hadoop MapReduce V2** 是Hadoop生态系统中的一个关键组件,用于处理大规模数据集。相较于V1版本,V2版本在架构上进行了重大...

    Hadoop MapReduce v2 Cookbook.pdf

    《Hadoop MapReduce v2 Cookbook》是一本针对大数据处理领域的重要参考书籍,专注于介绍Hadoop MapReduce的最新版本——v2(也称为YARN,Yet Another Resource Negotiator)。Hadoop MapReduce是Apache Hadoop框架的...

    hadoop炼数成金

    hadoop_v2_01a.mp4、hadoop_v2_01b.mp4、hadoop_v2_01c.mp4、hadoop_v2_01d.mp4、hadoop_v2_01e.mp4、hadoop_v2_02a.mp4、hadoop_v2_02b.mp4视频大小:4.98G

    Hadoop MapReduce v2 Cookbook (第二版)

    Hadoop MapReduce v2 Cookbook (第二版), Packt Publishing

    hadoop-train-v2-1.0.jar

    hadoop-train-v2-1.0.jar

    Hadoop.MapReduce.v2.Cookbook pdf

    《Hadoop.MapReduce.v2.Cookbook》是一本专注于Hadoop MapReduce v2(也称为YARN)的实用指南,适合那些希望深入了解和利用Hadoop处理大数据的IT专业人士。这本书籍详细介绍了如何在Hadoop 2.x环境中有效地设计、...

    后Hadoop时代的大数据架构

    【后Hadoop时代的大数据架构】是指随着技术的演进,大数据分析平台不再仅依赖于Hadoop单一技术栈,而是出现了更多与之互补的选择。Hadoop作为开源数据分析平台的先驱,自2000年代末至今,历经多次版本迭代,如从0.x...

    Hadoop英文电子书集合

    5、Hadoop MapReduce v2 Cookbook 2nd Edition.pdf 6、Hadoop Operations and Cluster Management Cookbook.pdf 7、Hadoop Real-world Solutions Cookbook.pdf 8、Hadoop The Definitive Guide 2nd Edition.pdf 9、...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...

    hadoop3.3.3-winutils

    在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。 在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。 Hadoop3.x在组成上没有变化Hadoop ...

    【推荐】大数据时代,你不得不知的Hadoop使用技巧

    在大数据时代,Hadoop作为分布式系统的基础架构,已经成为处理海量数据的核心技术之一。Hadoop允许用户轻松地在分布式环境中开发和运行应用程序,但要想掌握其使用技巧,对于初学者而言并不是一件容易的事情。以下...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    这是一个针对Hadoop 2.x(YARN)版本的插件,支持新的MapReduce v2 API。在这个版本中,开发者不仅可以处理Classic MapReduce任务,还可以处理基于YARN的Modern MapReduce任务。此外,2.8.0版本增加了更多特性,例如...

    04-29 后Hadoop时代的大数据架构.pdf

    04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构.pdf04-29 后Hadoop时代的大数据架构...

    hadoop2.7.3的hadoop.dll和winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    hadoop.dll & winutils.exe For hadoop-2.7.1

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

Global site tag (gtag.js) - Google Analytics