阅读更多

8顶
2踩

编程语言

原创新闻 Cascading:一个简单的Hadoop MapReduce应用

2008-09-12 11:05 by 副主编 QQbyte 评论(4) 有22822人浏览
Cascading是一个架构在Hadoop上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。

Cascading目前依赖于Hadoop提供存储和执行架构,但是Cascading API为开发者隔离了Hadoop的技术细节,提供了不需要改变初始流程工作流定义就可以在不同的计算框架内运行的能力。

Cascading使用了“pipe and filters”(管道和过滤)来定义数据处理进程。它支持分隔,合并,分组和排序操作,这是开发者唯一需要考虑的操作。Nathan Marz提供了一个范例:Goodbye MapReduce, Hello Cascading. Cascading对于使用Hadoop开发复杂应用是一个不错的解决方案。

这篇文章详细解释了Cascading整个架构和技术细节:A technical overview of the Cascading system

介绍Hadoop和MapReduce:

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。它主要由MapReduce的算法执行和一个分布式的文件系统HDFS等两部分组成。

HDFS:即Hadoop Distributed File System (Hadoop分布式文件系统)
      HDFS具有高容错性,并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用,并且提供了对数据读写的高吞吐率。

MapReduce:MapReduce是Google 的一项重要技术,它是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。至少现阶段而言,对许多开发人员来说,并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型,它让那些没有多少并行计算经验的开发人员也可以开发并行应用。

以上介绍来自:http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html
8
2
评论 共 4 条 请登录后发表评论
4 楼 OnlyRead 2009-05-27 15:42
这篇文章怎么也看不出是原创。。。。。。。
3 楼 tiandinet 2009-04-03 19:59
ccXZc
2 楼 ITeye管理员 2008-11-25 14:52
brilon 写道

“声明:JavaEye新闻文章的版权属于JavaEye网站所有,严禁任何网站转载本文,否则必将追究法律责任!”。。。新闻不都是转载的么。。


原创新闻是JavaEye原创中文内容,或者是翻译英文技术新闻,都是付出了辛勤劳动的,所以这些中文内容是属于JavaEye版权。
1 楼 brilon 2008-11-25 14:22
“声明:JavaEye新闻文章的版权属于JavaEye网站所有,严禁任何网站转载本文,否则必将追究法律责任!”。。。

新闻不都是转载的么。。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • delphi使用socket通讯例子-文件传输

    delphi使用socket通讯例子-文件传输, delphi使用socket通讯例子-文件传输

  • 利用Socket进行大文件传输

    利用Socket进行大文件传输 2012-06-15 15:22:12 分类: WINDOWS 最近接触到利用socket进行大文件传输的技术,有些心得,与大家分享.首先看看这个过程是怎么进行的(如下图):      所以,我们需要三个socket在窗体加载的时候初始化: 1. 等到收货请求的socket(即等待对方向自己发出发送文件的请求

  • delphi 下一种对socket异步模式接收数据分包与粘包的处理方式原理及其代码

    delphi 下一种对socket异步模式接收数据分包与粘包的处理方式原理及其代码 前言:     网络上传输的数据总是一份一份的,每一份数据称为一个完整的数据包。数据包由包头和包体(数据)构成。包头描述数据的性质,大小等相关属性。当我们用socket的recv()异步模式接收数据时,由于网络的差异性,复杂性,第一次的recv()接收往往不是一...

  • Delphi 局域网点对点文件传输(IdTcpClient控件)

    unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls, Buttons, ExtCtrls, ComCtrls, ScktComp, IdTCPServer, IdBaseComp...

  • fileupload_delphi_

    Delphi文件传输实例,需要在服务器上创建一个名为"文件系统"的文件夹

  • Delphi调用Http接口上传文件

    SS := TStringStream.Create('', TEncoding.UTF8); HttpClient := TIdHttp.Create(); MutPartForm := TIdMultiPartFormDataStream.Create; try MutPartForm.AddFormField('unitCode', UnitCode);

  • delphi 上传文件到服务器,使用Delphi Indy HTTP组件上载带有表单数据的文件

    我想使用Indy在Delphi中复制这部分Python代码:postdata = {'data': '{"data":{"xMode":0,"overrideOS":1,"messageId":"","vmProfileList":"11","submitType":"0","url":""},"filePriorityQ":"run_now" }'}file_up = {'amas_filena...

  • delphi 实现文件上传下载

    unit UpDownFile; interface uses Windows, Classes, Idhttp, URLMon, IdMultipartFormData; const UpUrl = 'http://127.0.0.1/upfile/upfile.asp'; const UpFileName = 'C:\Documents and Setting...

  • Delphi中实现文件拷贝的三种方法 (收藏)

    <br />1.利用Windows API:<br />CopyFile(lpExistingFileName, lpNewFileName: PChar; bFailIfExists: BOOL): BOOL<br /> <br />procedure TFrmMain.Button1Click(Sender: TObject);<br />var<br />  sSo: string;<br />begin<br />  with TOpenDialog.Create(nil) do<br />  be

  • Delphi实例分析:远程传输数据和文件

    在Windows操作系统的平台上,WinSock是首选的网络编程接口,用于在网络上传输数据和交换信息,它构成了Windows操作系统进行网络编程的基础。对于编写网络应用程序来说,WinSock是一门非常重要的并且必须掌握的知识,虽然现在有很多的工具如FTP程序可以在网络上传输数据和文件,但是通过WinSock编程具有更大的灵活性,因为它不需要关心网络连接的细节问题。然而用WinSock编程却相当复...

  • Delphi创建子线程的两种参数格式

    //第一种:传指针  TParam=record    TrdId:integer;    Sckt:TSocket;  end;  var  Param:^TParam;     new(Param);      Param^.TrdId:=ThreadCount;      Param^.Sckt:=s;      hThread:=CreateThread(nil,0

  • TCP_Client-D2010-SendBuf方式发送utf8编码字符串

    TCP_Client-D2010-SendBuf方式发送utf8编码字符串(较简洁)-2019-8-4-1845.rar, TCP_Client-D2010-SendText方式发送utf8编码字符串-2019-8-4-1815.zip

  • delphi Delphi写的一个上位机

    基于SPCOMM控件。 源码: unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls, SPComm, ExtCtrls; type TForm1 = class(TForm) Comm1: TComm; GroupBox1: TGroupBox; go:...

  • Delphi点对点聊天程序..rar

    Delphi点对点聊天程序..rar`

  • Delphi10.2 TCP发送文件Demo

    采用Delphi的indy10编写 实现TCPclient发送文件到服务端 适合初学者学习

  • Android Socket UDP 点对点,或者广播通讯,包含发送端和接收端

    Android Socket UDP 包含发送端和接收端( 两种切换方式,点对点,或者广播通讯)

Global site tag (gtag.js) - Google Analytics