hadoop的mapreduce的一些关键点整理

1. hadoop的mapreduce的流程图如下：

 

 

（1）用户提交一个任务以后，该任务由JobTracker协调，先执行Map阶段（图中M1，M2和M3），然后执行Reduce阶段（图中R1和R2）。Map阶段和Reduce阶段动作都受TaskTracker监控，并运行在独立于TaskTracker的Java虚拟机中。

 

（2）输入和输出都是HDFS上的目录（如上图所示）。输入由InputFormat接口描述，它的实现如ASCII文件，JDBC数据库等，分别处理对于的数据源，并提供了数据的一些特征。通过InputFormat实现，可以获取InputSplit接口的实现，这个实现用于对数据进行划分（图中的split1到split5，就是划分以后的结果），同时从InputFormat也可以获取RecordReader接口的实现，并从输入中生成<k,v>对。有了<k,v>，就可以开始做map操作了。

 

（3）map操作通过context.collect（最终通过OutputCollector. collect）将结果写到context中。当Mapper的输出被收集后，它们会被Partitioner类以指定的方式区分地写出到输出文件里。我们可以为Mapper提供Combiner，在Mapper输出它的<k,v>时，键值对不会被马上写到输出里，他们会被收集在list里（一个key值一个list），当写入一定数量的键值对时，这部分缓冲会被Combiner中进行合并，然后再输出到Partitioner中（图中M1的黄颜色部分对应着Combiner和Partitioner）。

 

(4) Map的动作做完以后，进入Reduce阶段。这个阶段分3个步骤：copy（复制数据）、排序（sort）和reduce。copy就是reduce节点从执行各个Map任务的服务器那里，拷贝的属于自己的数据；sort将从各个map节点那里copy到的数据进行排序；reduce是对排序的结果进行操作输出。

 

2. map端操作的关键点

 

map端的数据结构如下图：

 

 

Hadoop的机制是通过一个circle buffer 收集Mapper的输出, 到了io.sort.mb * io.sort.spill.percent或者key-value的数目超限（通过io.sort.record.percent可以计算出记录的最大数目）的时候，就spill到disk，如下图。图中出现了两个数组和一个缓冲区，kvindices保持了记录所属的（Reduce）分区、key在缓冲区开始的位置和value在缓冲区开始的位置；通过kvindices，可以在缓冲区中找到对应的key-value记录。kvoffets用于在缓冲区满的时候对kvindices的partition进行排序，排完序的结果将输出到输出到本地磁盘上，其中索引（每个reduce的数据的index）保存在spill{spill号}.out.index中，数据保存在spill{spill号}.out中。

 

当Mapper任务结束后，有可能会出现多个spill文件，这些文件会做一个归并排序，形成Mapper的一个输出（spill.out和spill.out.index）。

 

map小结：map的输出结果包括两部分，一部分是将要传输到每个reduce节点的数据的索引文件（spill.out.index）；另一个部分是将要传输到reduce节点的key-value的值。其中，将输出到每个reduce节点的数据已根据key进行了排序。简言之，map的输出结果先根据reduce的节点进行排序，再根据key进行排序。

 

 

 

3. reduce端操作的关键点

 

下图来自《hadoop the definitive guide》。说明了reduce的三个主要阶段：copy、sort和reduce。

 

 

（1）copy阶段：reduce端启动copy的线程，当有map任务完成的时候，即从map服务器节点copy本reduce节点对应的数据；由于reduce节点的数据可能来自多个map节点，既然每个map节点的输出已经根据key排好序了，因此进行merge操作即可实现全局的有序，在copy的同时，同时会针对copy过来的数据进行merge排序操作

 

（2）sort阶段：虽然copy阶段已经进行了针对copy的数据进行了部分合并，在所有的文件都拷贝完毕后，还需要使用工具类Merger归并所有的文件。经过这一个流程，一个合并了所有所需Map任务输出文件的新文件产生了。

 

（3）reduce阶段：对sort的结果进行处理输出。

 

4. 一个关于shuffle的误解

 

其实shuffle并不是什么复杂的东西，shuffle描述的是从map端处理完数据后，reduce端从map端获取数据进行处理的过程，只需要明白map端和reduce分别都怎么处理的，就明白了mapreduce的原理。因此，shuffle可以理解为一个描述性的词语，想想一个map的结果会输出到不同的reduce节点；而一个ruduce节点的数据是来自多个map，这样一个mxn的形式，用线连起来，是不是像洗牌操作？