006_hadoop中MapReduce详解_3

前面介绍了什么是MapReduce，然后通过一个简单的例子来说明MapReduce的流程。但都是针对单个Map函数和Reduce函数。在实际业务中可能会很复杂，可能含有多个MapReduce流程配合使用才能得到想要的结果。本节介绍复杂的MapReduce流程

1.线性MapReduce Job流

线性含义很简答，就是一个一个MapReduce Job依次执行。AMap的输出交给AReduce，AReduce的输出结果交给BMap，BMap的输出交给BReduce……就这样一直下去。

实现方式：将每个Job的启动代码设置成只有上一个Job结束之后才执行，然后将Job的输入设置成上一个Job的输出路劲

public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
	    
	    Job job = new Job(conf, "average");
	    job.setJarByClass(TestMR.class);
	    job.setMapperClass(MyMap.class);
	    job.setCombinerClass(MyReduce.class);
	    job.setReducerClass(MyReduce.class);
	    job.setOutputKeyClass(Text.class);
	    job.setOutputValueClass(IntWritable.class);
	    FileInputFormat.addInputPath(job, new Path("/user/text.txt")); //Map的输入
	    FileOutputFormat.setOutputPath(job, new Path("/user/helloMR/success"));//Reduce的输出
	    job.waitForCompletion(true);
	    
	    Job job2 = new Job(conf, "average2");
	    job2.setJarByClass(WordCount.class);
	    job2.setMapperClass(TokenizerMapper.class);
	    job2.setCombinerClass(IntSumReducer.class);
	    job2.setReducerClass(IntSumReducer.class);
	    job2.setOutputKeyClass(Text.class);
	    job2.setOutputValueClass(IntWritable.class);
	    FileInputFormat.addInputPath(job2, new Path("/user/helloMR/success")); //Map的输入
	    FileOutputFormat.setOutputPath(job2, new Path("/user/helloMR/success2"));//Reduce的输出
	    System.exit(job2.waitForCompletion(true) ? 0 : 1);
	}

 

以上代码仅仅是模拟线性MapReduce Job流，并没用实际的业务含义

 

2.各种依赖MapReduce Job流

有时候几个MapReduce Job中可能没有上面说的线性关系。可能是AMapReduce+BMapReduce两个的输出结果做为CMapReduce的输入。并且AMapReduce和BMapReduce之间没有任何关系。

实现方式：hadoop为我们提供了这种复杂的Job流API，ControlledJob类和JobControl类。先按照正常情况配置各个Job，配置完后在将所有的Job封装到对应的ControlledJob对象中，然后使用ControlledJob的addDependingJob()设置依赖关系，接着在实例化一个JobControl对象，并使用addJob()方法将多有的Job注入JobControl对象中，最后使用JobControl对象的run方法启动Job流

public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
	    
		//配置作业1
	    Job job = new Job(conf, "average");
	    job.setJarByClass(TestMR.class);
	    job.setMapperClass(MyMap.class);
	    job.setCombinerClass(MyReduce.class);
	    job.setReducerClass(MyReduce.class);
	    job.setOutputKeyClass(Text.class);
	    job.setOutputValueClass(IntWritable.class);
	    FileInputFormat.addInputPath(job, new Path("/user/text.txt")); //Map的输入
	    FileOutputFormat.setOutputPath(job, new Path("/user/helloMR/success"));//Reduce的输出
	     
	    //配置作业2
	    Job job2 = new Job(conf, "average2");
	    job2.setJarByClass(WordCount.class);
	    job2.setMapperClass(TokenizerMapper.class);
	    job2.setCombinerClass(IntSumReducer.class);
	    job2.setReducerClass(IntSumReducer.class);
	    job2.setOutputKeyClass(Text.class);
	    job2.setOutputValueClass(IntWritable.class);
	    FileInputFormat.addInputPath(job2, new Path("/user/text.txt")); //Map的输入
	    FileOutputFormat.setOutputPath(job2, new Path("/user/helloMR/success2"));//Reduce的输出
	    
	    //配置作业3
	    Job job3 = new Job(conf, "average2");
	    job3.setJarByClass(WordCount.class);
	    job3.setMapperClass(TokenizerMapper.class);
	    job3.setCombinerClass(IntSumReducer.class);
	    job3.setReducerClass(IntSumReducer.class);
	    job3.setOutputKeyClass(Text.class);
	    job3.setOutputValueClass(IntWritable.class);
	    //***********作业3的输入是作业1和作业2的输出
	    FileInputFormat.addInputPath(job3, new Path("/user/helloMR/success")); //Map的输入
	    FileInputFormat.addInputPath(job3, new Path("/user/helloMR/success2"));
	    FileOutputFormat.setOutputPath(job3, new Path("/user/helloMR/success3"));//Reduce的输出
	    
	    /**
	     * 特别说明：
	     * 配置依赖关系的作用是确保作业3是在作业1和作业2执行完后才执行，利用作业1和作业2的输出作为作业3的输入。
	     * 所以在配置作业3时，需要将作业1和作业2的输出路劲作为作业3的输入路径。
	     */
	    
	    //配置依赖关系
	    ControlledJob cj1 = new ControlledJob(conf);
	    cj1.setJob(job);
	    ControlledJob cj2 = new ControlledJob(conf);
	    cj2.setJob(job2);
	    ControlledJob cj3 = new ControlledJob(conf);
	    cj3.setJob(job3);
	    cj3.addDependingJob(cj1);
	    cj3.addDependingJob(cj2);
	    
	    //将所有任务添加到JobControl中
	    JobControl JC = new JobControl("123");
	    JC.addJob(cj1);
	    JC.addJob(cj2);
	    JC.addJob(cj3);
	    
	    //启动线程
	    Thread thread = new Thread(JC);
	    thread.start();
	    
	    while(true){
	    	if(JC.allFinished()){  
                System.out.println(JC.getSuccessfulJobList());  
                JC.stop();  
                System.exit(0);
            }  
            if(JC.getFailedJobList().size() > 0){  
                System.out.println(JC.getFailedJobList());  
                JC.stop();  
                System.exit(0);
            }  
	    }
	}

 

特别说明：以上两个实例都是我亲自运行过的，结果也是正确的。

评论

1 楼 annmi_cai 2016-03-11  

好好学习，天天向上！