基于Gearman的MapReduce分布式计算

============================================================================

原创作品，允许转载。转载时请务必以超链接形式标明原始出处、以及本声明。

请注明转自：http://yunjianfei.iteye.com/blog/

============================================================================

       针对大数据的处理，我们无非采用“分而治之”的策略，2004年goole的<MapReduce: Simplified Data Processing on Large Clusters>这个论文提出并阐述了MapReduce的概念。再到之后的开源版本Hadoop的出现，以及今天的大规模使用。

 

      最近一直在做分布式计算方面的事情。一说起这个，大家难免想到hadoop，目前hadoop2.2已经非常的强大，能做非常多的事情。但是有时候针对一些业务模型显得过于庞大何臃肿。

 

     Gearman是一套非常不错的分布式处理框架，灵活的架构，轻量级的设计，强大的分发功能，以及各个语言的支持，都让人眼前一亮。

 

      最近调研的时候，在slides上发现了非常不错的资源，在这里分享给大家，主要是使用Perl + Gearman 实现了MapReduce的一个demo，这个对于我们做分布式计算和开发大有好处，希望大家好好看一下。里面是包含PPT和demo源码的。

 

      至于Gearman的学习，网上有很多的资料，或者直接去官网http://gearman.org/getting-started/ 

我这里就不再重复了。

 

    附件中基于Gearman的MapReduceDemo.rar 是包含ppt和源码的。

   mapreduce-osdi04.pdf 是google的那么mapreduce论文。