阅读更多

1顶
2踩

开源软件

转载新闻 微软开源大数据框架 REEF

2013-08-14 13:50 by 副主编 WnouM 评论(0) 有6672人浏览
微软开发了一个名为REEF(Retainable Evaluator Execution Framework)的大数据框架,并计划在一个月左右将其开源。

8月12日上午,在芝加哥举行的Knowledge Mining and Data Discovery国际会议上,微软技术研究员兼信息服务CTO Raghu Ramakrishnan介绍了REEF框架和微软的开源计划。


REEF运行在YARN的上层。YARN是新一代Hadoop资源管理器,通过YARN,用户可以运行和管理同一个物理集群机上的多种作业,例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目,而且可以对相同的数据进行不同类型的数据分析。某些情况下,整个数据流可以执行在同一个集群机上。

Ramakrishnan表示,对于某些类型的作业,例如机器学习,YARN并不是一个理想的框架,因为这些作业对于数据传输、任务监控和结果集迭代等方面有一些特殊的要求。

而REEF可以解决这些问题。REEF分为两个部分:Evaluator和Activity。Evaluator是YARN的容器,包括REEF服务和Activity(用户代码)都运行在Evaluator内。Ramakrishnan展示了一个工作流示例,YARN可以向上构建一个Evaluator,Activity代码会在Evaluator运行和完成,这时同一个Evaluator可以再次恢复初始状态运行起来,以便其他的Activity继续运行。

从理论上来说,REEF是一个有趣的技术,它试图去解决一些公司进行数据分析时的遗留问题。同时值得注意的是,REEF在某种程度上表明了微软拥抱Hadoop和开源的强烈意愿。几年前,微软只是致力于开发Hadoop的替代品和专有平台。而现在,它也在推动Hadoop社区的工作并提高自身代码的开放度。

原文链接:Microsoft to open source a big data framework called REEF
  • 大小: 23.8 KB
来自: CSDN
1
2
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • dtsrun的命令行调用方法

    dtsrun的命令行调用方法

  • sql server中用job执行DTS

    sql server中用job执行DTS

  • SQL Server阻止了对件xp_cmdshell过程的解决方案

    通过查询分析器,选择Master数据库,然后执行以下SQL内容 sp_configure 'show advanced options',1 reconfigure go sp_configure 'xp_cmdshell',1 reconfigure Go

  • 作业中,调用DTS包的问题

    作业中调用DTS包的问题 问题描述1:    如何使用作业调度DTS包 方法:    1. 企业管理器--数据转换服务--本地包--右键你要调度的包--选择“调度包”--设置调度时间安排即可。    2. 如果直接创建作业,则应该在作业的步骤类型中选择“操作系统命令(CmdExec)",在作业的代码中,使用 DTSRun 来执行指定的DTS包。 问题描述2:    在作业中,通过查询数据库表里的某

  • DTS参数传递示例

    DTS参数传递示例 -- 1. 建立测试表 CREATE TABLE tempdb.dbo.tb(id int) -- 2. 新建一个DTS包 在包中建立:a. Microsoft OLE DB Provider for SQL Server连接b. 执行 SQL 任务   任务的“SQL语句“写上: insert tb values(?)       单击“参数”按钮,打开“参数

  • 如何在JAVA代码中执行 exec master..xp_cmdshell @cmd // 当作SQL语句调用就成了 或者调用 Runtime.getRuntime().exec

    <br />例如:<br />//package FS;<br />import java.io.IOException;<br />import java.sql.*;<br />public class BCP<br />{<br /> static Connection con;<br /> static PreparedStatement sql;<br /> static ResultSet res;<br /> public Connection getConnection()<br /> {<

  • 如何在SQL Server存储过程中执行DTS包

    google_ad_client = "pub-2947489232296736";/* 728x15, 创建于 08-4-23MSDN */google_ad_slot = "3624277373";google_ad_width = 728;google_ad_height = 15;//<script type="text/javascript"

Global site tag (gtag.js) - Google Analytics