`
小网客
  • 浏览: 1241556 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

[综合]Apache Hadoop 2.2.0概要[翻译]

 
阅读更多

Apache Hadoop 2.2.0

apache hadoop2.20版本较比以前以前稳定版本(hadoop-1.x)有显著改进

此处简要针对hdfs和MapReduce的改进说明如下:

 

HDFS联盟

为了水平扩展命名服务,联盟采用了多重无依赖的Namenode和Namespace。namenodes是联合在一起的,每个namenode相互独立不需要跟其他的namenode进行通信协调。datanode被namenode用来作为通用的基于block存储。每个datanode在所有的集群namenode中都注册。datanode维持间隔心跳、块信息报告,同时处理namenode传过来的命令。

更多详细请参考 HDFS Federation 

 

MapReduce下一代又称YARN,又称MRv2

新的架构设计在hadoop-0.23中提到过,JobTracker拆分成两大主要单独模块:资源管理和job生命周期管理。

新在资源管理器管理整个应用的计算资源分配,应用主控管理应用的调度和协作。

一个应用指的是MapReduce中的一个单独的job或一组job。

资源管理器和每个节点管理器守护进程,他们管理用户在此节点上的计算。

每个机器上的ApplicationMaster实际上是一个特殊的框架负责跟ResourceManager协商资源同时和NodeManager协调监控任务执行情况。

更多详情请参考YARN 。

 

Getting Started

hadoop文档包括使用hadoop的帮助信息。可以先从单节点启动开始,他会告知你如何构建一个hadoop单机安装模式。后续可以开始集群安装,去了解多节点安装。

 

0
0
分享到:
评论

相关推荐

    Hadoop 2.2.0 配置文件

    Hadoop 2.2.0 是 Apache Hadoop 的一个关键版本,它包含了众多改进和优化,使得这个分布式计算框架在处理大数据集时更加高效和稳定。在这个配置文件中,我们将会探讨Hadoop 2.2.0 在4台CentOS 6.4系统上运行所需的...

    hadoop2.2.0-linux-64bit安装包和源码包

    Hadoop 2.2.0 是Apache Hadoop的一个稳定版本,它包含了大量对Hadoop生态系统(包括HDFS、MapReduce、YARN等)的改进和支持。这一版本提供了更好的性能、安全性和可扩展性,适用于处理大规模数据集。 #### 1. HDFS ...

    hadoop2.2.0

    Hadoop是Apache软件基金会开发的一个开源框架,专门设计用于处理和存储大规模数据。Hadoop 2.2.0是其一个重要版本,它在Hadoop 1.x的基础上进行了大量的优化和改进,增强了系统的稳定性和性能,为大数据处理提供了更...

    hadoop2.2.0的64位安装包

    首先,你需要从Apache Hadoop官方网站下载hadoop-2.2.0的源代码压缩包,这通常以`.tar.gz`或`.zip`格式提供。解压后,进入源代码目录,准备编译环境。确保系统已安装了必要的依赖项,如GCC编译器、Java开发套件(JDK...

    Hadoop2.2.0安装配置手册

    Hadoop2.2.0安装配置手册,新手安装和配置

    Hadoop 2.2.0 64位native文件(重编译)

    Hadoop 2.2.0 是一个重要的分布式计算框架,主要设计用于处理和存储大量数据。这个64位的native文件是Hadoop针对64位Linux操作系统编译的一组库文件,它们对于Hadoop在Linux环境下高效运行至关重要。在Hadoop的源...

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。

    CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南

    资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...

    Hadoop2.2.0集群安装

    Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...

    hadoop-2.2.0依赖的jar包

    Hadoop 2.2.0版本是Hadoop发展过程中的一个重要里程碑,引入了许多改进和新特性,增强了系统的稳定性和性能。本篇文章将深入探讨Hadoop 2.2.0开发过程中依赖的jar包及其重要性。 首先,我们要理解的是,Java ...

    hadoop2.2.0 64位 native库centos64

    WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在网上查了一下发现Apache官网提供的是32位编译的,在64...

    Hadoop2.2.0环境测试详细傻瓜说明

    标题中的“Hadoop2.2.0环境测试详细傻瓜说明”表明了本文将要讨论的是关于Hadoop 2.2.0版本的环境配置和简单的应用测试,特别是针对新手的指南。描述中的“配置以后的一些测试,wordcount啥的,有信心的就不用下了”...

    hadoop2.2.0 eclipse-kepler 编译插件

    hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler

    Hadoop2.2.0安装配置及实例教程入门宝典

    2. **下载Hadoop**:从Apache官网获取Hadoop2.2.0的tar.gz文件,并解压到指定目录,如/opt/hadoop。 3. **配置环境变量**:在系统环境变量配置文件(如~/.bashrc)中添加HADOOP_HOME,并设置PATH。 4. **配置Hadoop*...

    hadoop2.2.0安装指南.docx

    首先,从Apache官方网站下载Hadoop 2.2.0的最新版本。请注意,官方提供的可能是Linux 32位系统的可执行文件,但可以通过FAQ找到64位系统的解决方案。下载地址是:...

    hadoop-2.2.0-src.tar

    Apache Hadoop 2.2.0 is the GA release of Apache Hadoop 2.x. Users are encouraged to immediately move to 2.2.0 since this release is significantly more stable and is guaranteed to remain compatible in...

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    hadoop2.2.0部署

    ### Hadoop 2.2.0 部署详尽指南 #### 一、安装Linux **1. 安装wmware11** - **待补充:** 这部分需要更详细的说明来指导用户如何顺利安装wmware11,包括系统的最低配置要求、安装过程中需要注意的关键步骤等。 **...

Global site tag (gtag.js) - Google Analytics