用JavaScript阐述MapReduce原理

 

　　谷歌在2003到2006年间连续发表了三篇非常有影响力的文章，分别是2003年在SOSP上发布的GFS，2004年在OSDI上发布的MapReduce，以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的，其对后来的分布式文件系统设计具有指导意义；MapReduce是一种并行计算的编程模型，用于作业调度；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等Google技术之上。相当多的Google应用使用了BigTable，比如Google Earth和Google Analytics。因此这三种技术并称为谷歌技术”三宝”。今天，D瓜哥班门弄斧，对MapReduce来个”庖丁解牛”！

MapReduce简介

　　MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一
个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后
再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。

 

 

编程实践

　　常言道：”实践出真知” 。是骡子是马，拉出来遛遛才知道。所以，如果真的想搞懂这个原理，还是亲自写代码实践一下才是硬道理。

　　最近和几个朋友一起学习JavaScript，所以就比较关注JavaScript。昨天上网瞎逛时，惊奇地发现，竟然有牛人使用JavaScript实现了MapReduce算法。然后转过来和大家分享，同时再加上我自己的一些狗尾续貂的介绍，希望有助于大家理解MapReduce。具体代码实现如下：

　　没在这里插入过代码，完整内容，见

我的博客：“地瓜哥”博客网，http://www.diguage.com/archives/75.html

 

评论

2 楼 liberD 2012-11-23  

lazy_ 写道

原来是卖广告的哈。博客不错。下次还是把code贴上来把，哥哥。
Talk is cheap, show me the code.

抱歉！我把文章发到我的个人博客上了，ItEye算是一个备用的。您可以去我的个人博客“地瓜哥”博客网：http://www.diguage.com/看看。希望对您有所帮助。

给你添麻烦了。抱歉！

1 楼 lazy_ 2012-11-23  

原来是卖广告的哈。博客不错。下次还是把code贴上来把，哥哥。
Talk is cheap, show me the code.