MapReduce二次排序

默认情况下，map后会对key进行默认排序，但是有时候需要对key排序的同时再对value进行排序，这时候就要用到二次排序，一步到位。
原理很简单，就是改变key，map完成后进入reduce之前排序已完成，mapreduce，只能对key来排序，如何做到对key排序的同时又对reduce排序呢？
就是改变key，将value跟key结合起来作为新key,这个新key可以是自定义数据结构，也可以利用MapWritable等hadoop自带的数据结构：
map之前：
k2 2
k2 1
k1 4
k1 3
k3 8
k3 6
改变后的结构就是：
(k2 2 ) 2
(k2 1 ) 1
(k1 4 ) 4
(k1 3 ) 3
(k3 8 ) 8
(k3 6 ) 6
接下来就可以自定义key的排序类以及分组类：
job.setGroupingComparatorClass(A.class);
job.setSortComparatorClass(B.class);
这样的话reduce之前就会变成如下排过序的数据结构：
(k1 3 ) 3
(k1 4 ) 4
(k2 1 ) 1
(k2 2 ) 2
(k3 6 ) 6
(k3 8 ) 8
最后ruduce阶段输出key即完成排序：
k1 3
k1 4
k2 1
k2 2
k3 6
k3 8
一般二次排序跟join都是利用这种整合value与key，然后再对新key做文章进行排序或者合并的方式处理。

评论

1 楼 chgliu 2012-05-16  

能展示新key类型和比较大小的方法不？谢谢哈～