`
lt200819
  • 浏览: 188103 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 2.x 的一些改进

 
阅读更多

apache hadoop 2.x 是在1.x版本上做了重大的改进。

以下是一个关于HDFS和MapReduce的简短的改进概述。

 

HDFS Federation

为了提升name service 的水平扩展性,federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有namenode提供通用的blocks存储服务。每个datanode注册到集群中所有的namenode上。datanode发送heartbeats、block reports和执行从namenode传来的命令。

 

下一代MapReduce,又名YARN或MRv2

新的架构在hadoop-0.23已经介绍过了,把jobtracker划分成两个主要功能:resource management和job 生命周期管理组件。

新的ResourceManager负责计算机全部资源的分配工作,每个应用的ApplicationMaster管理应用调度和协作工作。

一个应用可以是在原mapreduce那样单一的job或者一组有序任务。

ResourceManager 和每个机器的NodeManager守护进程,负责管理机器上的用户进程,形成计算模型。

实际上每个应用的ApplicationMaster是架构中具体的library,负责向ResourceManager 协调资源,与NodeManager(s)一起协作完成任务执行和监控的工作。

分享到:
评论

相关推荐

    hadoop2.X新特性介绍

    ### Hadoop2.X 新特性详解 #### Hadoop1.0 的局限性 Hadoop1.0作为初代的大数据处理框架,在数据存储和处理方面取得了显著成就,但也暴露出了一系列问题,主要包括: - **HDFS(Hadoop Distributed File System)...

    hadoop1.x与hadoop2.x配置异同

    综上所述,Hadoop1.x与Hadoop2.x在配置和架构上有显著的不同,尤其是引入YARN后对资源管理和任务调度的改进,以及对安全性和性能的增强。这些变化使得Hadoop2.x成为处理大规模数据集时更优的选择。

    Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进

    在这篇文章中,我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...

    Hadoop 2.x

    总之,Hadoop 2.x是一个强大且灵活的大数据处理平台,它的改进使得在处理大规模数据时更为高效,同时也为各种大数据应用提供了坚实的基础。对于想要入门Hadoop的开发者来说,深入理解HDFS、MapReduce以及YARN的工作...

    Hadoop3.x系统文档

    文档中提到,与Hadoop 2.x相比,3.x版本在集群安装和配置方面基本变化不大,但具体到新版本的特性以及对默认端口的改变上,还是存在一些需要特别注意的地方。 #### 1. Hadoop 3.x集群安装知识 在集群安装知识部分,...

    win32win64hadoop2.7.x.hadoop.dll.bin

    在Hadoop 2.7.x版本中,有一些关键改进和特性: 1. YARN(Yet Another Resource Negotiator)作为资源管理和调度器,提高了系统的资源利用率和可扩展性。 2. HDFS的高可用性(HA)通过引入NameNode的热备,增强了...

    hadoop3.x盘地址及官方其他版本下载地址.rar

    Hadoop 3.x系列是Hadoop的主要版本之一,相比之前的Hadoop 2.x,它引入了诸多改进和优化,提升了整体的存储性能和计算效率。在本文中,我们将深入探讨Hadoop 3.x的关键特性、优化之处以及如何获取和安装这个版本。 ...

    初识Hadoop 2.x.pdf

    Hadoop 2.x 版本相比早期版本有了显著的改进和增强,特别是在性能、稳定性和安全性方面。 - **Hadoop Common**:这部分为整个Hadoop 提供基础支持和服务,包括一些核心文件系统和I/O库等。 - **Hadoop Distributed ...

    Apache Hadoop2.x 安装入门详解 PDF

    Hadoop 2.x 是该框架的一个重要版本,引入了许多改进和优化,使得它更加适合企业级的大数据处理需求。本教程将详细讲解Apache Hadoop 2.x的安装过程,帮助初学者快速入门。 一、Hadoop的体系结构 Hadoop的核心由两...

    Hadoop2.X集群安装与配置

    Hadoop 2.x 是Hadoop发展的一个重要阶段,引入了许多关键改进,增强了系统的稳定性和可扩展性。本文将详细介绍如何在三节点环境下安装和配置Hadoop 2.x 集群。 一、环境准备 在开始Hadoop的安装前,你需要确保你的...

    spark-3.3.3-bin-hadoop3.tgz

    这个版本特别针对Hadoop 3.x进行了优化,使得它能够充分利用Hadoop生态系统中的新特性和性能改进。在本文中,我们将深入探讨Spark 3.3.3与Hadoop 3.x的集成,以及它们在大数据处理领域的关键知识点。 首先,Spark的...

    hadoop3.x带snappy(可用于windows本地开发)

    【标题】"hadoop3.x带snappy(可用于windows本地开发)"所涉及的知识点主要集中在Hadoop 3.0版本以及Snappy压缩算法在Windows环境下的应用。Hadoop是一个开源的大数据处理框架,由Apache软件基金会开发,它使得在...

    hadoop 2.X 伪分布式配置文件

    10. **Hadoop 2.x的改进**:相比Hadoop 1.x,2.x版本提升了性能,支持更细粒度的资源管理和更好的故障恢复机制。 了解以上知识点后,将提供的压缩包解压到`/etc/hadoop`目录下,根据具体的硬件和需求调整配置文件,...

    hadoop2.x native library64位

    这意味着它可能包含针对Hadoop 2.x系列特定优化的本地库,例如HDFS的优化、MapReduce的改进等。 压缩包内的“lib”文件夹很可能是包含了所有编译好的64位动态链接库(.so文件)和其他必要的库文件。这些文件将被...

    hadoop.dll及winutils.exe,2.x版本

    在2.x版本的Hadoop中,这些组件经历了多次优化和改进,以提高性能、稳定性和兼容性。例如,Hadoop 2.x引入了YARN(Yet Another Resource Negotiator),这是一个资源管理系统,负责集群资源的分配和管理,使得Hadoop...

    Hadoop_2.X_HDFS源码剖析_带索引书签目录_徐鹏

    Hadoop 2.x版本在Hadoop 1.x的基础上进行了许多改进和优化,包括YARN(Yet Another Resource Negotiator)的引入,以提供更好的资源管理和调度能力,以及HDFS的高可用性增强等。 该书首先介绍了HDFS的基本架构,...

    hadoop2.9.x源码编译工具包

    在本工具包中,我们关注的是Hadoop的2.9.x版本,这是一个相对稳定的版本,包含了众多改进和修复。为了从源码编译Hadoop 2.9.x,我们需要几个关键工具,包括Maven、ProtocolBuffer和FindBugs。以下是对这些工具的详细...

    各个版本Hadoop,hadoop.dll以及winutils.exe文件下载大合集

    `2.6.5`属于Hadoop 2.x系列,而`3.2.1`是Hadoop 3.x系列的一部分。每个版本都有其特定的改进和特性,选择合适的版本取决于具体项目的需求和兼容性。 `hadoop.dll`是Hadoop在Windows环境下运行的一个关键组件。通常...

Global site tag (gtag.js) - Google Analytics