import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Partitioner; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /** * mapreduce排序 * * @author asheng file1:1.txt 2 32 654 32 15 756 65223 * * file2:2.txt 5956 22 650 92 * * file3:3.txt 26 54 6 * 对file1,file2,file3进行排序,能够第一想到的便是mapreduce自动排序,但是这里面有问题: * Reduce排序只是对发送到自己所在的节点的数据进行排序,不能保证整体的顺序 * 所以这里要自定义Partition,保证Partition后,Reduce上的数据在整体上是有序的,然后在reduce内进行排序 */ public class Sort { public static class Map extends Mapper<Object, Text, IntWritable, IntWritable> { private IntWritable data = new IntWritable(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { data.set(Integer.parseInt(value.toString())); context.write(data, new IntWritable(1)); } } public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> { private IntWritable data = new IntWritable(1); public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { for (IntWritable v : values) { System.out.println(v); context.write(data, key); data = new IntWritable(data.get() + 1); } } } public static class Partition extends Partitioner<IntWritable, IntWritable> { @Override public int getPartition(IntWritable key, IntWritable value, int numPartitions) { int Maxnumber = 65223; int bound = Maxnumber / numPartitions + 1; int keynumber = key.get(); for (int i = 0; i < numPartitions; i++) { if (keynumber < bound * i && keynumber >= bound * (i - 1)) { return i - 1; } } return 0; } } public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { Configuration conf = new Configuration(); Job job = new Job(conf, "sort"); job.setJarByClass(Sort.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setPartitionerClass(Partition.class); job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.setInputPaths(job, "/home/asheng/hadoop/in"); FileOutputFormat .setOutputPath(job, new Path("/home/asheng/hadoop/out")); job.waitForCompletion(true); } }
相关推荐
3. **Shuffle与Sort**:Map输出的中间键值对被分区(Partition)、排序(Sort)和合并(Combine),以便Reduce阶段能按顺序处理相同键的数据。 4. **Reduce阶段**:Reduce任务从Map阶段获取所有相关的中间键值对,...
3. 桶排序(Shuffle):Map输出的键值对按键进行排序,相同键的值被聚合在一起。 4. 分区(Partition):根据键的哈希值将数据分配到不同的Reducer上,确保相同键的数据会分发到同一个Reducer。 Reduce阶段包括: 1...
1.shuffle机制详细讲解 2.MR案例多文件输出 3.MR案例partition使用 4.MR案例内容去重 5.MR案例敏感词汇过滤 6.MR案例自定义combiner的使用 7.MR案例倒排序索引 8.MR案例简单排序
通过自定义Map、Reduce和Partition类,可以实现对大量数据的有效排序。这种技术不仅适用于数据排序,还可以扩展到其他复杂的数据处理任务中。在实际应用中,根据具体需求调整MapReduce作业的参数是非常重要的。
- Shuffle阶段:Map任务的输出经过分区(Partition)、排序(Sort)和溢写(Spill)操作,确保相同key的数据聚合在一起,然后进行merge操作,形成有序的key-value对。 - Reduce阶段:Reducer从多个Map任务的输出...
2. **Shuffle阶段**:Shuffle阶段介于Map和Reduce之间,它的主要任务是对Map任务的输出进行分区(partition)、排序(sort)和归并(merge)。分区是根据键的哈希值将数据分配到不同的Reducer,排序确保同一键的所有...
最后,自定义的排序代码实例涉及到MapReduce的中间输出排序阶段。在Map任务完成后,其输出需要先进行排序,然后再传递给Reducer。这个排序过程可以基于键进行,也可以基于键和值一起。自定义排序规则可以帮助我们...
1. **分区内部排序(Within-partition sorting)**:首先,数据按照key进行排序,同一分区内的所有键值对都会根据key的自然顺序或者用户自定义的Comparator进行升序排序。此外,如果一个job配置了`...
在这个"mapreduceDemo.zip"压缩包中,我们可以通过一系列的示例深入理解MapReduce的工作原理和关键概念,如自定义分区、排序和分组。这些概念在大数据处理中至关重要,能够优化数据处理性能并确保结果的正确性。 ...
10. 自定义outputformat时,注意在recordWirter中的close方法必须关闭流资源。否则输出的文件内容中数据为空。解决方案:在recordWirter中的close方法中关闭流资源,确保正确地关闭了流资源。 这些错误和解决方案将...
在Hadoop MapReduce框架中,Partitioner、SortComparator和GroupingComparator是三个至关重要的组件,它们共同决定了数据如何被分发、排序以及分组,从而影响到整个MapReduce作业的性能和结果的正确性。接下来,我们...
之后会对key进行sort排序,grouping分组操作将相同key的value合并分组输出,在这里可以使用自定义的数据类型,重写WritableComparator的Comparator方法来自定义排序规则,重写RawComparator的compara方法来自定义...
3. Shuffle:先进行HashPartition或者自定义的partition,会有数据倾斜和reduce的负载均衡问题。再进行排序,默认按字典排序。 4. Reduce:reduce输入的数据变成了key+迭代器形式的数据,再进行处理。 MapReduce是...
- 在MapReduce作业中控制数据的分布和排序方式。 - **ClusterBy**: - `SELECT * FROM table_name CLUSTER BY column_name;` - **常见全局排序需求**: - 在大型数据集中实现全局排序通常需要额外的步骤,例如通过...