`
conkeyn
  • 浏览: 1525163 次
  • 性别: Icon_minigender_1
  • 来自: 厦门
社区版块
存档分类
最新评论

使用MRUnit测试hadoop的MapReduce

 
阅读更多

 

1、MRUnit下载地址:http://mrunit.apache.org/

2、简单的mapred输入、输出测试,示例参考来自:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

 

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class SMSCDRMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

	private Text status = new Text();

	private final static IntWritable addOne = new IntWritable(1);

	@Override
	// 不建议在方法中使用全类名称:org.apache.hadoop.mapreduce.Mapper.Context
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

		// 655209;1;796764372490213;804422938115889;6
		String[] line = value.toString().split(";");
		if (Integer.parseInt(line[1]) == 1) {
			status.set(line[4]);
			context.write(status, addOne);
		}

	}
}

 

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class SMSCDRReducer1 extends Reducer<Text, IntWritable, Text, IntWritable> {

	// Context 不可以直接在方法里头使用org.apache.hadoop.mapreduce.Reducer.Context,而应该在import中使用。
	// 对以上一点,实在是引起大大的疑问题
	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException,
			InterruptedException {
		int sum = 0;
		for (IntWritable value : values) {
			sum += value.get();
		}
		context.write(key, new IntWritable(sum));
	}
}

 

import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;

public class SMSCDRMapperReducerTest {
	MapDriver<LongWritable,Text,Text,IntWritable> mapDriver;
	ReduceDriver<Text,IntWritable,Text,IntWritable> reducerDriver;
	MapReduceDriver<LongWritable,Text,Text,IntWritable,Text,IntWritable> mapReducerDriver;
	
	@Before
	public void setUp(){
		SMSCDRMapper mapper = new SMSCDRMapper();
		SMSCDRReducer1 reducer = new SMSCDRReducer1();
		mapDriver = MapDriver.newMapDriver(mapper);
		reducerDriver = ReduceDriver.newReduceDriver(reducer);
		mapReducerDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);
	}
	
	@Test
	public void testMapper() throws Exception{
		mapDriver.withInput(new LongWritable(),new Text("655209;1;796764372490213;804422938115889;6"));
		mapDriver.withOutput(new Text("6"), new IntWritable(1));
		mapDriver.runTest();
	}
	@Test
	public void testReducer() throws Exception {
		List<IntWritable> values = new ArrayList<IntWritable>();
		values.add( new IntWritable(1));
		values.add( new IntWritable(1));
		reducerDriver.withInput(new Text("6"), values);
		reducerDriver.withOutput(new Text("6"),  new IntWritable(2));
		reducerDriver.runTest();
	}
}

 3、通过本地系统进行测试:

1)测试数据:

CDRID;CDRType;Phone1;Phone2;SMS Status Code
655209;1;796764372490213;804422938115889;6
353415;0;356857119806206;287572231184798;4
835699;1;252280313968413;889717902341635;0

 2)Mapper和Reducer与第二点的一样。

3)编写读取本地文件系统的Job。

 

分享到:
评论

相关推荐

    Hadoop MRUnit测试

    Hadoop MRUnit是一个用于测试MapReduce程序的强大工具,它允许开发者在没有实际Hadoop集群的情况下,对MapReduce作业进行单元测试。这个框架模拟了Hadoop MapReduce的执行环境,使开发者可以针对单个Mapper、Reducer...

    Mrunit-1.1.0-hadoop2

    《深入理解Mrunit-1.1.0-hadoop2:Hadoop MapReduce单元测试利器》 在大数据处理领域,Hadoop作为开源的分布式计算框架,为海量数据处理提供了强大支持。然而,随着项目的复杂度增加,确保代码的正确性和稳定性变得...

    mrunit-1.1.0.jar

    《MRUnit:Hadoop MapReduce的本地测试框架》 MRUnit是Apache Hadoop项目的一个重要组件,主要用于MapReduce程序的单元测试。这个工具的核心在于它为开发者提供了一种在本地环境执行MapReduce任务的能力,无需实际...

    apache-mrunit-1.1.0-hadoop2-bin.tar

    Apache MRUnit 是一个针对Hadoop MapReduce框架的单元测试工具,专为开发人员设计,用于测试MapReduce程序的各个部分,包括Mapper、Reducer以及Combiner。MRUnit 1.1.0是针对Hadoop 2.x版本的一个特定构建,确保了与...

    mrunit-1.1.0-hadoop2.jar

    MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。

    hadoop学习笔记.rar

    总结,Hadoop的学习涵盖了从理论理解到实践操作的多个层面,包括使用开发工具、编写MapReduce代码、进行单元测试和集成测试等。通过深入学习这些笔记,读者可以逐步掌握Hadoop的精髓,为应对大数据时代的挑战做好...

    mapreduce_training:用于教学目的的MapReduce应用程序集

    具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...

    Hadoop专业解决方案-第5章开发可靠的MapReduce应用.docx

    其中,MRUnit是一个专门针对Hadoop的测试框架,它基于JUnit,能够帮助开发者对MapReduce作业进行深度测试。 单元测试是软件开发中的关键环节,特别是对于MapReduce应用。测试驱动开发(TDD)是一种编程实践,提倡先...

    MR Unit test需要的相关jar包

    4. mrunit-1.1.0-hadoop2.jar:MRUnit是专门为MapReduce设计的单元测试库,它提供了一套API来模拟MapReduce作业的执行。这个库允许开发者在内存中运行Map和Reduce阶段,从而快速验证代码的行为。MRUnit特别适用于...

    mrunit测试插件

    非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功

    hadoop权威指南 第三版 英文版

    - 使用MRUnit编写测试单元。 - 输出提交机制。 - 分布式缓存功能。 - 任务内存监控。 - 通过MapReduce处理Avro数据。 - 在Oozie中运行简单的MapReduce工作流。 - **HDFS增强**: - 高可用性(HA)支持。 - ...

    李建伟:Hadoop新技术介绍

    - MRUnit:是一个用于MapReduce任务单元测试的库。 - HCatalog:是Hadoop生态系统中的一个表和服务管理工具,允许用户访问存储在Hadoop的数据。 - Sqoop:是一个用于在Hadoop和关系数据库之间高效传输大量数据的...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    1.1.4 谁在使用Hadoop 1.1.5 Hadoop 的局限性 1.2 运行Hadoop 1.2.1 下载并安装Hadoop 1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据...

    MapReduceV2笔记

    为了保证MapReduce程序的正确性和稳定性,MapReduce提供了用MRUnit进行程序测试的方法。计数器是MapReduce中的一个功能,它可以帮助用户追踪和统计程序运行中的各种事件。 性能优化是MapReduce应用中的关键话题,它...

Global site tag (gtag.js) - Google Analytics