资讯频道 → 开源软件
阅读更多

3顶
0踩

开源软件

原创新闻 Facebook开源Corona，Hadoop作业调度管理系统

2012-11-09 14:49 by 副主编 wangguo 评论(3) 有12375人浏览
facebook hadoop Corona Map-Reduce

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Facebook近日开源了Corona，这是Facebook用来调度和管理大规模Hadoop作业的系统。

Corona是Map-Reduce的改进版本，可以更好地利用集群资源，更适合Facebook的“多租户（Multi-Tenant）”环境。

在Facebook，Map-Reduce有一个单一的作业跟踪器（JobTracker），用来管理集群资源和跟踪每个作业的状态。而使用Corona，集群资源通过一个中央集群管理器来跟踪，每个作业都有自己的跟踪器，这些跟踪器只需跟踪一个作业。



Corona在Map-Reduce的基础上进行了如下改进：

  • 可扩展性：单独的Corona JobTrackers来负责任务的跟踪，这为作业的数量和规模提供了更好的扩展性。
  • 延迟：任务调度工作在push模型中。Corona Job Tracker推送资源请求到Cluster Manager，然后在收到Cluster Manager的许可后，推送任务到Corona Task Tracker。这种调度决策是在收到heartbeats时发生，对于小的作业来说，heartbeat模型相关的延迟就变得重要。
  • 与Map-Reduce v1相比，Corona中的Fair Scheduler能更好地分配资源到资源池中。
  • 由于调度开销较低，集群可以得到更好的利用。
项目地址：https://github.com/facebook/hadoop-20/tree/master/src/contrib/corona
  • 大小: 28.7 KB
3
顶
0
踩
评论 共 3 条 请登录后发表评论
3 楼 liberD 2012-11-09 18:04
juliashine 写道
作为下一代mapreduce框架，不如YARN

有官忘网址吗？发来，让俺去看看。
2 楼 juliashine 2012-11-09 17:42
作为下一代mapreduce框架，不如YARN
1 楼 liberD 2012-11-09 16:52
希望有机会学习学习。哈哈

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 统一资源管理与调度平台（系统）介绍

    另一个与Mesos和YARN类似的系统是Facebook开源的Hadoop Coroca，具体可参考：“Hadoop Corona介绍”。 参考资料 （1）Mesos论文：Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center. B. ...

  • 「大数据」Hadoop生态系统：分布式计算系统

    Apache IgniteApache Ignite ...它包括分布式键值内存存储，SQL功能，map-reduce和其他计算，分布式数据结构，连续查询，消息和事件子系统，Hadoop和Spark集成。 Ignite是用Java构建的，提供.NET和C ++ API。Apache ...

  • Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

    Apache Hadoop项目开发用于可靠、可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都...

  • 大数据【调度系统】经典论文和资料整理

    Facebook 集群调度管理系统 爱奇艺的工作流调度系统——Gear 美团集群调度系统的云原生实践 【干货-K8S系列】Kubernetes调度核心解密:从Google Borg说起 5. 公众号好文推荐 深度解析 | 基于DAG的分布式任务调度平台...

  • Hadoop生态系统

    1.概述 　最近收到一些同学和朋友的邮件，说能不能整理一下 Hadoop 生态圈的相关内容，然后分享一些，...分布式文件系统分布式编程模型NoSQL 数据库SQL-On-Hadoop数据采集编程服务中间件调度系统系统部署数据可视化

  • Hadoop 生态系统

    1.概述　最近收到一些同学和朋友的邮件，说能不能整理一下 Hadoop ...涉及的内容有以下几点：分布式文件系统分布式编程模型NoSQL 数据库SQL-On-Hadoop数据采集编程服务中间件调度系统系统部署数据可视化2.内容2.1 ...

  • 60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践

    Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里，用户和产品都得到了增长，使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于 Hive 平台...

  • Hadoop

    Hadoop大数据生态系统 实验教程 第1章 欢迎来到大数据的世界 1.1 拥抱大数据 当今的社会，是一个信息大爆炸的社会，社会在高速发展，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大量的数据在...

  • 基于STM32单片机的激光雕刻机控制系统设计-含详细步骤和代码

    内容概要：本文详细介绍了基于STM32单片机的激光雕刻机控制系统的设计。系统包括硬件设计、软件设计和机械结构设计，主要功能有可调节激光功率大小、改变雕刻速率、手动定位、精确雕刻及切割。硬件部分包括STM32最小系统、步进电机驱动模块、激光发生器控制电路、人机交互电路和串口通信电路。软件部分涉及STM32CubeMX配置、G代码解析、步进电机控制、激光功率调节和手动定位功能的实现。 适合人群：对嵌入式系统和激光雕刻机感兴趣的工程师和技术人员。 使用场景及目标：① 适用于需要高精度激光雕刻的应用场合；② 为开发类似的激光雕刻控制系统提供设计参考。 阅读建议：本文提供了详细的硬件和软件设计方案，读者应结合实际应用场景进行理解，重点关注电路设计和代码实现。

  • 白色简洁风格的前端网站模板下载.zip

    白色简洁风格的前端网站模板下载.zip

  • HarmonyException如何解决.md

    HarmonyException如何解决.md

  • sdfsdfdsfsdfs222

    sdfsdfdsfsdfs222

  • (177373454)html+css+js学习代码.zip

    html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+js学习代码 html+css+js学习代码html+css+js学习代码html+css+j

  • usbgps2.apk

    usbgps2.apk

  • 白色简洁风格的家居建材网站模板下载.zip

    白色简洁风格的家居建材网站模板下载.zip

  • EventEmitError解决办法.md

    EventEmitError解决办法.md

  • 白色简洁风格的工艺品展览企业网站源码下载.zip

    白色简洁风格的工艺品展览企业网站源码下载.zip

  • matlab调制解调 OFDM OTFS 16qam qpsk ldpc turbo在高斯白噪声，频率选择性衰落信道下的误比特率性能仿真，matlab代码 OFDM simulink 包括添加保

    matlab调制解调 OFDM OTFS 16qam qpsk ldpc turbo在高斯白噪声，频率选择性衰落信道下的误比特率性能仿真，matlab代码 OFDM simulink 包括添加保护间隔（cp），信道均衡(ZF MMSE MRC MA LMSEE) 代码每行都有注释，适用于学习，附带仿真说明，完全不用担心看不懂

  • build(1).gradle

    build(1).gradle

Global site tag (gtag.js) - Google Analytics