资讯频道 → 企业架构
阅读更多

3顶
1踩

企业架构

转载新闻 Apache Hadoop 2.0.3 alpha 版发布

2013-02-17 16:44 by 副主编 WnouM 评论(3) 有9481人浏览
apache hadoop 分布式


Apache Hadoop 2.0.3 alpha版发布了，在这次版本更新中，主要增加了以下几个特性：

1.  引入一种新的HDFS HA解决方案QJM

之前NameNode HA已经有两种解决方案，分别是基于共享存储区的Backup Node方案和基于Bookeeper的方案，在该版本中引入另外一种方案：QJM（Quorum Journal Manager）。

该方案（HDFS-3077）采用了quorum commit protocol，引入两个角色：QuorumJournalManager和JournalNode，QuourumJournalManager通过RPC将edits日志写入N个JournalNode，只要有大多数（大于N/2个）JournalNode成功写入则任务日志写入成功。

2.  YARN 多资源调度机制

在该版本中，YARN的资源调度器同时支持内存和CPU两种资源调度，采用的调度算法源自Mesos的DRF（Dominant Resource Fairness），对应论文为：“Dominant Resource Fairness: Fair Allocation of Multiple Resources Types”，具体可参考 YARN-2和 Apache Mesos调度机制。

YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，为了能够更灵活的控制内存使用量，YARN采用了进程监控的方案控制内存使用，即每个NodeManager会启动一个额外监控线程监控每个container内存资源使用量，一旦发现它超过约定的资源量，则会将其杀死。采用这种机制的另一个原因是Java中创建子进程采用了fork()+exec()的方案，子进程启动瞬间，它使用的内存量与父进程一致，从外面看来，一个进程使用内存量可能瞬间翻倍，然后又降下来，采用线程监控的方法可防止这种情况下导致swap操作。对于CPU资源，则采用了Cgroups进行资源隔离。具体可参考 YARN-3。

3.  YARN ResourceManager重启机制

该版本引入了一个简单的ResourceManager重启机制，保证RM重启后，各个应用工程序可继续运行而不受影响。需要注意的是，这只是第一阶段的实现，还很不完整，比如不能向NameNode HA那样做到自动切换，不能恢复所有正在运行的Container，Application和ApplicationMaster而只是重新启动另外一个而已，具体可参考 YARN-230。

4.  YARN稳定性和扩展性得到验证

Yahoo已使用YARN在超过3万个节点上运行了14 million个应用程序，具体可参考： Hadoop at Yahoo!: More Than Ever Before。

详细信息：Announcing Apache Hadoop 2.0.3 Release and Roadmap  （转载自董的博客）
  • 大小: 10.6 KB
来自: 董的博客
3
顶
1
踩
评论 共 3 条 请登录后发表评论
3 楼 luoyu-ds 2013-02-19 17:31
2.0.2-alpha的还nutch,solr等集成都还有些不兼容,这又出个alpha版本
能不能出个2.x的正式版本啊
2 楼 weng 2013-02-18 08:45
我还特地到官网看了下，是2.0.3-alpha，这新闻....
1 楼 mdream 2013-02-17 20:58
是2.0.3-alpha版，请注明。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • build hadoop2.0.3 alpha from source

    Original source: ... 需要注意的是 hadoop2.0.3 alpha的编译，必须使用protobuf2.4.1. 使用 2.4.0,2.5.0均会失败。 1.安装JDK、Maven并设置环境变量 a) JDK安装配置过程省略 b) M

  • Kerberos（1.9）Apache Hadoop（2.0.3 Yarn） 配置

    环境： 环境： ubuntu 12.04, jdk 1.7 ... 域名分别是：mcw-cc-nachuang, ...注：确定 Hadoop 2.0.3 集群可以正常使用，然后stop-all。 Kerberos配置： 参考：http://blog.csdn.net/edwardvsnc/article/detail

  • linux环境下Hadoop 2.0.3单机部署

     与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 　HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。...

  • hadoop2.0.3 源码编译,及安装

    从真正知道有hadoop 这个东西,是从去年年底开始的, 从去年到现在这段时间,其中也有过间断的学习,hadoop当初给我的感觉是这个东西比较神奇,以至于到现在我对它都保持极高的好奇心。  真正下决心学习hadoop是今年...

  • Hadoop 2.0.3在Linux环境下单机部署

    1.Hadoop2.0简述[1] HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个数据块...

  • 【Apache Hadoop系列】hadoop源码编译问题记录

    org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile) on project hadoop-common: Comp

  • Hadoop源码编译-hadoop-2.0.3-alpha-Linux-CentOS

    操作系统：CentOs 1.安装JDK、Maven并设置环境变量 ...下载地址：http://labs.mop.com/apache-mirror/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz 解压即可，并设置MAVEN_HOME,将$MAVEN_HOM

  • Hadoop V2.0.3 Cluster Setup Guide

    Hadoop V2.0.3 Cluster Setup Guide 1 Single Node Cluster 1.1 Prerequisites 1.1.1 Sun Java installation Hadoop requires a working java installed, here I use the Java 1.7. Unzip

  • 记我安装hadoop2.0.3的过程（包括出错的部分）

    1.首先从网上下载2.0的包，解压出来，不用安装。 2. ./hadoop namenode -format #先格式化 ...#进入sbin目录，这里放的都是server启动脚本 ..../hadoop-daemon.sh start namenode ..../hadoop-daemon.sh sta...

  • sqoop的安装（sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz）

    一.下载sqoop 官网如下： http://archive.apache.org/dist/sqoop/ 可以选择想要的版本！但后面一定要是.tar.gz

  • Spring for Apache Hadoop 1.0.1.RC1 released - adding Hadoop 2.0 and Pivotal HD 1.0 support

    Releases Thomas Risberg July 11, 2013 We are happy to announce a new release ... This release candidate introduces support for Apache Hadoop 1.1.2, Hortonworks HDP 1.2, Apache Hadoop 2.0.3-alpha as

  • apache-dolphinscheduler-3.2.0集群部署

    一、apache-dolphinscheduler介绍。三、apache-dolphinscheduler配置。四、apache-dolphinscheduler安装。3.1、修改install_env.sh配置。4.2、执行stop-all.sh。4.1、执行install.sh。4.8、node4节点。

  • hadoop应用程序实例distributedshell

    需要注意的是，在hadoop-2.0.3-alpha（不包括该版本）和CDH 4.1.2版本（包括该版本）之前，DistributedShell存在BUG，具体如下： 1） 必须使用–shell_command参数 2） 当只有shell_command参数而没有shell_...

  • 分析Apache Log4j2 远程代码执行漏洞

    分析Apache Log4j2 远程代码执行漏洞

  • ubuntu 13.04 搭建Hadoop环境 (单节点)

    一、在ubuntu下创建hadoop用户组和用户 1、创建hadoop用户组： sudo addgroup hadoop 2、创建hadoop用户： sudo adduser -ingroup hadoop hadoop 3、给hadoop用户添加权限，打开/etc/sudoers文件 给hadoop用户...

  • Hadoop-2.8.0分布式安装手册

    1. 前言 当前版本的Hadoop已解决了hdfs、yarn和hbase等单点，并支持自动的主备切换。 本文的目的是为当前最新版本的Hadoop 2.8.0提供最为详细的安装说明，以...本文的安装只涉及了hadoop-common、hadoop-hdfs

  • hadoop+hbase+zookeeper环境搭建过程总结

     搭建开发环境是学习一门新技术的首先要面对的，当然技术的选型也是相当重要，刚开始搭建环境的时候公司让用cloudera manager CDH4自动在cloudera官网下载安装hadoop、hbase、zookeeper等，但是这个过程在网速不好...

  • 从Hadoop 1.x升级到Yarn

    1、停掉所有的Hadoop 1.x进程 2、copy Hadoop 2.x项目文件到所有节点上 3、设置Hadoop 2.x的环境变量 4、编辑Hadoop 2.x的配置文件 值得注意的是：需要使用之前版本的HDFS的meta data和 data。因此以下几项需要和...

  • pendulum-2.1.2-cp39-cp39-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • Nginx配置文件中FastCGI相关参数理解

    Nginx配置文件中FastCGI相关参数理解

Global site tag (gtag.js) - Google Analytics