`
sunasheng
  • 浏览: 122837 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

mapreduce排序(自定义Partition)

阅读更多
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * mapreduce排序
 * 
 * @author asheng file1:1.txt 2 32 654 32 15 756 65223
 * 
 *         file2:2.txt 5956 22 650 92
 * 
 *         file3:3.txt 26 54 6
 *         对file1,file2,file3进行排序,能够第一想到的便是mapreduce自动排序,但是这里面有问题:
 *         Reduce排序只是对发送到自己所在的节点的数据进行排序,不能保证整体的顺序
 *         所以这里要自定义Partition,保证Partition后,Reduce上的数据在整体上是有序的,然后在reduce内进行排序
 */
public class Sort {
	public static class Map extends
			Mapper<Object, Text, IntWritable, IntWritable> {
		private IntWritable data = new IntWritable();

		public void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
			data.set(Integer.parseInt(value.toString()));
			context.write(data, new IntWritable(1));
		}
	}

	public static class Reduce extends
			Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
		private IntWritable data = new IntWritable(1);

		public void reduce(IntWritable key, Iterable<IntWritable> values,
				Context context) throws IOException, InterruptedException {
			for (IntWritable v : values) {
				System.out.println(v);
				context.write(data, key);
				data = new IntWritable(data.get() + 1);
			}
		}
	}

	public static class Partition extends Partitioner<IntWritable, IntWritable> {
		@Override
		public int getPartition(IntWritable key, IntWritable value,
				int numPartitions) {
			int Maxnumber = 65223;
			int bound = Maxnumber / numPartitions + 1;
			int keynumber = key.get();
			for (int i = 0; i < numPartitions; i++) {
				if (keynumber < bound * i && keynumber >= bound * (i - 1)) {
					return i - 1;
				}
			}
			return 0;
		}

	}

	public static void main(String[] args) throws IOException,
			InterruptedException, ClassNotFoundException {
		Configuration conf = new Configuration();
		Job job = new Job(conf, "sort");
		job.setJarByClass(Sort.class);
		job.setMapperClass(Map.class);
		job.setReducerClass(Reduce.class);
		job.setPartitionerClass(Partition.class);
		job.setOutputKeyClass(IntWritable.class);
		job.setOutputValueClass(IntWritable.class);
		FileInputFormat.setInputPaths(job, "/home/asheng/hadoop/in");
		FileOutputFormat
				.setOutputPath(job, new Path("/home/asheng/hadoop/out"));
		job.waitForCompletion(true);
	}
}

 

分享到:
评论

相关推荐

    MapReduce2.0源码分析与实战编程

    3. **Shuffle与Sort**:Map输出的中间键值对被分区(Partition)、排序(Sort)和合并(Combine),以便Reduce阶段能按顺序处理相同键的数据。 4. **Reduce阶段**:Reduce任务从Map阶段获取所有相关的中间键值对,...

    一个MapReduce简单程序示例

    3. 桶排序(Shuffle):Map输出的键值对按键进行排序,相同键的值被聚合在一起。 4. 分区(Partition):根据键的哈希值将数据分配到不同的Reducer上,确保相同键的数据会分发到同一个Reducer。 Reduce阶段包括: 1...

    mapreduce高级特性及shuffle

    1.shuffle机制详细讲解 2.MR案例多文件输出 3.MR案例partition使用 4.MR案例内容去重 5.MR案例敏感词汇过滤 6.MR案例自定义combiner的使用 7.MR案例倒排序索引 8.MR案例简单排序

    机器学习中大数据对数据的排序

    通过自定义Map、Reduce和Partition类,可以实现对大量数据的有效排序。这种技术不仅适用于数据排序,还可以扩展到其他复杂的数据处理任务中。在实际应用中,根据具体需求调整MapReduce作业的参数是非常重要的。

    大数据技术基础培训-MapReduce技术培训.pptx

    - Shuffle阶段:Map任务的输出经过分区(Partition)、排序(Sort)和溢写(Spill)操作,确保相同key的数据聚合在一起,然后进行merge操作,形成有序的key-value对。 - Reduce阶段:Reducer从多个Map任务的输出...

    自己实现MapReduce-Shuffle过程.zip

    2. **Shuffle阶段**:Shuffle阶段介于Map和Reduce之间,它的主要任务是对Map任务的输出进行分区(partition)、排序(sort)和归并(merge)。分区是根据键的哈希值将数据分配到不同的Reducer,排序确保同一键的所有...

    WordCountMapReduce.zip

    最后,自定义的排序代码实例涉及到MapReduce的中间输出排序阶段。在Map任务完成后,其输出需要先进行排序,然后再传递给Reducer。这个排序过程可以基于键进行,也可以基于键和值一起。自定义排序规则可以帮助我们...

    hadoop shuffle和排序1

    1. **分区内部排序(Within-partition sorting)**:首先,数据按照key进行排序,同一分区内的所有键值对都会根据key的自然顺序或者用户自定义的Comparator进行升序排序。此外,如果一个job配置了`...

    mapreduceDemo.zip

    在这个"mapreduceDemo.zip"压缩包中,我们可以通过一系列的示例深入理解MapReduce的工作原理和关键概念,如自定义分区、排序和分组。这些概念在大数据处理中至关重要,能够优化数据处理性能并确保结果的正确性。 ...

    22_尚硅谷大数据之MapReduce_常见错误及解决方案1

    10. 自定义outputformat时,注意在recordWirter中的close方法必须关闭流资源。否则输出的文件内容中数据为空。解决方案:在recordWirter中的close方法中关闭流资源,确保正确地关闭了流资源。 这些错误和解决方案将...

    Partitioner, SortComparator and GroupingComparator in Hadoop

    在Hadoop MapReduce框架中,Partitioner、SortComparator和GroupingComparator是三个至关重要的组件,它们共同决定了数据如何被分发、排序以及分组,从而影响到整个MapReduce作业的性能和结果的正确性。接下来,我们...

    大数据 40 道面试题及答案.docx

    之后会对key进行sort排序,grouping分组操作将相同key的value合并分组输出,在这里可以使用自定义的数据类型,重写WritableComparator的Comparator方法来自定义排序规则,重写RawComparator的compara方法来自定义...

    大数据 80 道面试题及答案.docx

    3. Shuffle:先进行HashPartition或者自定义的partition,会有数据倾斜和reduce的负载均衡问题。再进行排序,默认按字典排序。 4. Reduce:reduce输入的数据变成了key+迭代器形式的数据,再进行处理。 MapReduce是...

    Hive教程.pdf

    - 在MapReduce作业中控制数据的分布和排序方式。 - **ClusterBy**: - `SELECT * FROM table_name CLUSTER BY column_name;` - **常见全局排序需求**: - 在大型数据集中实现全局排序通常需要额外的步骤,例如通过...

Global site tag (gtag.js) - Google Analytics