阅读更多

8顶
2踩

编程语言

原创新闻 Cascading:一个简单的Hadoop MapReduce应用

2008-09-12 11:05 by 副主编 QQbyte 评论(4) 有22824人浏览
Cascading是一个架构在Hadoop上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。

Cascading目前依赖于Hadoop提供存储和执行架构,但是Cascading API为开发者隔离了Hadoop的技术细节,提供了不需要改变初始流程工作流定义就可以在不同的计算框架内运行的能力。

Cascading使用了“pipe and filters”(管道和过滤)来定义数据处理进程。它支持分隔,合并,分组和排序操作,这是开发者唯一需要考虑的操作。Nathan Marz提供了一个范例:Goodbye MapReduce, Hello Cascading. Cascading对于使用Hadoop开发复杂应用是一个不错的解决方案。

这篇文章详细解释了Cascading整个架构和技术细节:A technical overview of the Cascading system

介绍Hadoop和MapReduce:

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。它主要由MapReduce的算法执行和一个分布式的文件系统HDFS等两部分组成。

HDFS:即Hadoop Distributed File System (Hadoop分布式文件系统)
      HDFS具有高容错性,并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用,并且提供了对数据读写的高吞吐率。

MapReduce:MapReduce是Google 的一项重要技术,它是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。至少现阶段而言,对许多开发人员来说,并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型,它让那些没有多少并行计算经验的开发人员也可以开发并行应用。

以上介绍来自:http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html
8
2
评论 共 4 条 请登录后发表评论
4 楼 OnlyRead 2009-05-27 15:42
这篇文章怎么也看不出是原创。。。。。。。
3 楼 tiandinet 2009-04-03 19:59
ccXZc
2 楼 ITeye管理员 2008-11-25 14:52
brilon 写道

“声明:JavaEye新闻文章的版权属于JavaEye网站所有,严禁任何网站转载本文,否则必将追究法律责任!”。。。新闻不都是转载的么。。


原创新闻是JavaEye原创中文内容,或者是翻译英文技术新闻,都是付出了辛勤劳动的,所以这些中文内容是属于JavaEye版权。
1 楼 brilon 2008-11-25 14:22
“声明:JavaEye新闻文章的版权属于JavaEye网站所有,严禁任何网站转载本文,否则必将追究法律责任!”。。。

新闻不都是转载的么。。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • delphi使用socket通讯例子-文件传输

    delphi使用socket通讯例子-文件传输, delphi使用socket通讯例子-文件传输

  • 利用Socket进行大文件传输

    利用Socket进行大文件传输 2012-06-15 15:22:12 分类: WINDOWS 最近接触到利用socket进行大文件传输的技术,有些心得,与大家分享.首先看看这个过程是怎么进行的(如下图):      所以,我们需要三个socket在窗体加载的时候初始化: 1. 等到收货请求的socket(即等待对方向自己发出发送文件的请求

  • delphi 下一种对socket异步模式接收数据分包与粘包的处理方式原理及其代码

    delphi 下一种对socket异步模式接收数据分包与粘包的处理方式原理及其代码 前言:     网络上传输的数据总是一份一份的,每一份数据称为一个完整的数据包。数据包由包头和包体(数据)构成。包头描述数据的性质,大小等相关属性。当我们用socket的recv()异步模式接收数据时,由于网络的差异性,复杂性,第一次的recv()接收往往不是一...

  • Delphi上传和下载文件指南

    Delphi上传和下载文件指南 【下载地址】Delphi上传和下载文件指南分享 在开发桌面应用时,尤其是需要处理文件交互的应用,能够实现文件的上传到服务器以及从服务器下载文件是非常重要的。本资源通过实际代码示例,让您能够轻松理解和实现这一功能。特别适合那些希望将Delphi应用扩展至支持在线数据交换的开发者 ...

  • Delphi实例分析:远程传输数据和文件

    在Windows操作系统的平台上,WinSock是首选的网络编程接口,用于在网络上传输数据和交换信息,它构成了Windows操作系统进行网络编程的基础。对于编写网络应用程序来说,WinSock是一门非常重要的并且必须掌握的知识,虽然现在有很多的工具如FTP程序可以在网络上传输数据和文件,但是通过WinSock编程具有更大的灵活性,因为它不需要关心网络连接的细节问题。然而用WinSock编程却相当复...

  • Delphi 局域网点对点文件传输(IdTcpClient控件)

    unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls, Buttons, ExtCtrls, ComCtrls, ScktComp, IdTCPServer, IdBaseComp...

  • delphi 2010 socket发送结构体协议

    delphi 2010 socket发送结构体协议

  • fileupload_delphi_

    Delphi文件传输实例,需要在服务器上创建一个名为"文件系统"的文件夹

  • delphi 实现文件上传下载

    unit UpDownFile;interfaceuses    Windows, Classes, Idhttp, URLMon, IdMultipartFormData;const UpUrl = http://127.0.0.1/upfile/upfile.asp;const UpFileName = C:/Documents and Settings/Administrator/桌面

  • 用 Chukeh 结合 Delphi 实现大文件上传的断点续传

     基本思路是,由 delphi 把要上传的文件分块,然后用 idhttp 模拟 post 请求,提交文件块,.net 以 Request.Files 方式接收数据,然后根据同时提交的 position 和 block 参数写入临时文件,上传完毕后再重名名文件,这样客户端只要记下最后的 position 参数,就可以在任意位置开始续传文件了。您可以到这里下载示例代码 http://www.e

  • delphi 上传文件到服务器,使用Delphi Indy HTTP组件上载带有表单数据的文件

    我想使用Indy在Delphi中复制这部分Python代码:postdata = {'data': '{"data":{"xMode":0,"overrideOS":1,"messageId":"","vmProfileList":"11","submitType":"0","url":""},"filePriorityQ":"run_now" }'}file_up = {'amas_filena...

  • Delphi调用Http接口上传文件

    SS := TStringStream.Create('', TEncoding.UTF8); HttpClient := TIdHttp.Create(); MutPartForm := TIdMultiPartFormDataStream.Create; try MutPartForm.AddFormField('unitCode', UnitCode);

  • Delphi中实现文件拷贝的三种方法 (收藏)

    <br />1.利用Windows API:<br />CopyFile(lpExistingFileName, lpNewFileName: PChar; bFailIfExists: BOOL): BOOL<br /> <br />procedure TFrmMain.Button1Click(Sender: TObject);<br />var<br />  sSo: string;<br />begin<br />  with TOpenDialog.Create(nil) do<br />  be

  • Delphi创建子线程的两种参数格式

    //第一种:传指针  TParam=record    TrdId:integer;    Sckt:TSocket;  end;  var  Param:^TParam;     new(Param);      Param^.TrdId:=ThreadCount;      Param^.Sckt:=s;      hThread:=CreateThread(nil,0

  • 点对点通信(delphi显示)

    实现点对点通信源码 用delphi来实现

Global site tag (gtag.js) - Google Analytics