1、MRUnit下载地址:http://mrunit.apache.org/
2、简单的mapred输入、输出测试,示例参考来自:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial
import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class SMSCDRMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private Text status = new Text(); private final static IntWritable addOne = new IntWritable(1); @Override // 不建议在方法中使用全类名称:org.apache.hadoop.mapreduce.Mapper.Context protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 655209;1;796764372490213;804422938115889;6 String[] line = value.toString().split(";"); if (Integer.parseInt(line[1]) == 1) { status.set(line[4]); context.write(status, addOne); } } }
import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class SMSCDRReducer1 extends Reducer<Text, IntWritable, Text, IntWritable> { // Context 不可以直接在方法里头使用org.apache.hadoop.mapreduce.Reducer.Context,而应该在import中使用。 // 对以上一点,实在是引起大大的疑问题 protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } }
import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver; import org.apache.hadoop.mrunit.mapreduce.ReduceDriver; import org.junit.Before; import org.junit.Test; public class SMSCDRMapperReducerTest { MapDriver<LongWritable,Text,Text,IntWritable> mapDriver; ReduceDriver<Text,IntWritable,Text,IntWritable> reducerDriver; MapReduceDriver<LongWritable,Text,Text,IntWritable,Text,IntWritable> mapReducerDriver; @Before public void setUp(){ SMSCDRMapper mapper = new SMSCDRMapper(); SMSCDRReducer1 reducer = new SMSCDRReducer1(); mapDriver = MapDriver.newMapDriver(mapper); reducerDriver = ReduceDriver.newReduceDriver(reducer); mapReducerDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer); } @Test public void testMapper() throws Exception{ mapDriver.withInput(new LongWritable(),new Text("655209;1;796764372490213;804422938115889;6")); mapDriver.withOutput(new Text("6"), new IntWritable(1)); mapDriver.runTest(); } @Test public void testReducer() throws Exception { List<IntWritable> values = new ArrayList<IntWritable>(); values.add( new IntWritable(1)); values.add( new IntWritable(1)); reducerDriver.withInput(new Text("6"), values); reducerDriver.withOutput(new Text("6"), new IntWritable(2)); reducerDriver.runTest(); } }
3、通过本地系统进行测试:
1)测试数据:
CDRID;CDRType;Phone1;Phone2;SMS Status Code 655209;1;796764372490213;804422938115889;6 353415;0;356857119806206;287572231184798;4 835699;1;252280313968413;889717902341635;0
2)Mapper和Reducer与第二点的一样。
3)编写读取本地文件系统的Job。
相关推荐
Hadoop MRUnit是一个用于测试MapReduce程序的强大工具,它允许开发者在没有实际Hadoop集群的情况下,对MapReduce作业进行单元测试。这个框架模拟了Hadoop MapReduce的执行环境,使开发者可以针对单个Mapper、Reducer...
《深入理解Mrunit-1.1.0-hadoop2:Hadoop MapReduce单元测试利器》 在大数据处理领域,Hadoop作为开源的分布式计算框架,为海量数据处理提供了强大支持。然而,随着项目的复杂度增加,确保代码的正确性和稳定性变得...
《MRUnit:Hadoop MapReduce的本地测试框架》 MRUnit是Apache Hadoop项目的一个重要组件,主要用于MapReduce程序的单元测试。这个工具的核心在于它为开发者提供了一种在本地环境执行MapReduce任务的能力,无需实际...
Apache MRUnit 是一个针对Hadoop MapReduce框架的单元测试工具,专为开发人员设计,用于测试MapReduce程序的各个部分,包括Mapper、Reducer以及Combiner。MRUnit 1.1.0是针对Hadoop 2.x版本的一个特定构建,确保了与...
MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。
总结,Hadoop的学习涵盖了从理论理解到实践操作的多个层面,包括使用开发工具、编写MapReduce代码、进行单元测试和集成测试等。通过深入学习这些笔记,读者可以逐步掌握Hadoop的精髓,为应对大数据时代的挑战做好...
具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...
其中,MRUnit是一个专门针对Hadoop的测试框架,它基于JUnit,能够帮助开发者对MapReduce作业进行深度测试。 单元测试是软件开发中的关键环节,特别是对于MapReduce应用。测试驱动开发(TDD)是一种编程实践,提倡先...
4. mrunit-1.1.0-hadoop2.jar:MRUnit是专门为MapReduce设计的单元测试库,它提供了一套API来模拟MapReduce作业的执行。这个库允许开发者在内存中运行Map和Reduce阶段,从而快速验证代码的行为。MRUnit特别适用于...
非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功
- 使用MRUnit编写测试单元。 - 输出提交机制。 - 分布式缓存功能。 - 任务内存监控。 - 通过MapReduce处理Avro数据。 - 在Oozie中运行简单的MapReduce工作流。 - **HDFS增强**: - 高可用性(HA)支持。 - ...
- MRUnit:是一个用于MapReduce任务单元测试的库。 - HCatalog:是Hadoop生态系统中的一个表和服务管理工具,允许用户访问存储在Hadoop的数据。 - Sqoop:是一个用于在Hadoop和关系数据库之间高效传输大量数据的...
1.1.4 谁在使用Hadoop 1.1.5 Hadoop 的局限性 1.2 运行Hadoop 1.2.1 下载并安装Hadoop 1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据...
为了保证MapReduce程序的正确性和稳定性,MapReduce提供了用MRUnit进行程序测试的方法。计数器是MapReduce中的一个功能,它可以帮助用户追踪和统计程序运行中的各种事件。 性能优化是MapReduce应用中的关键话题,它...