文章列表
Local Aggregation
说到Local Aggregation，你可能会想不就是Combiner吗。实际上在mapper中进行combining比使用真正的combiner高效得多。首先combiner只是作为MapReduce的可选优化方案（就像inline对于C++编译器是一种可选优化方案一样），不一定会被执行。其次在mapper中进行combining可以减少很多的I/O操作，提高效率，毕竟mapper的每个结果都个结果都要被写入磁盘，我们当然希望写入磁盘的数据越少越好。
回想一下WordCount的例子，在mapper中Emit(word,1)，在reducer中对相同的 ...