`

MRUnit使用

 
阅读更多

MRUnit是一个用于测试mapreduce程序的java框架,它可以很方便地测试Mapper和rudecer程序

 

使用方法:

在maven中加入下面配置:

<dependency>
      <groupId>org.apache.mrunit</groupId>
      <artifactId>mrunit</artifactId>
      <version>0.9.0-incubating</version>
      <classifier>hadoop2</classifier>
    </dependency>

 The MRUnit build process has changed to produce mrunit-0.9.0-hadoop1.jar and mrunit-0.9.0-hadoop2.jar instead of mrunit-0.9.0-hadoop020.jar, mrunit-0.9.0-hadoop100.jar and mrunit-0.9.0-hadoop023.jar. The hadoop1 classifier is for all Apahce Hadoop versions based off the 0.20.X line including 1.0.X. The hadoop2 classifier is for all Apache Hadoop versions based off the 0.23.X line including the unreleased 2.0.X.

 

 

参考:https://cwiki.apache.org/confluence/display/MRUNIT/Index

分享到:
评论

相关推荐

    mrunit-1.1.0-hadoop2

    mrunit mrunit mrunit mrunit

    Mrunit-1.1.0-hadoop2

    3. 使用Mrunit进行测试 - 配置环境:首先,需要将Mrunit的jar包(如mrunit-1.1.0-hadoop2.jar)添加到项目构建路径中。 - 编写测试类:Mrunit提供了模拟MapReduce作业的类,如`org.apache.hadoop.mapreduce.lib.map....

    Hadoop MRUnit测试

    在使用MRUnit时,项目通常使用Maven进行构建。Maven提供了一套标准的项目结构和生命周期,方便管理依赖、编译、测试和打包。 1. **Maven目录结构** 按照Maven的标准目录结构组织你的源代码和资源文件,如`src/main...

    mrunit-1.1.0.jar

    在使用"mrunit-1.1.0-hadoop2.jar"时,开发人员应确保他们的开发环境已经配置好Hadoop 2.x的相关依赖,然后将MRUnit库添加到项目中,编写测试类并继承MRUnit提供的基类,如`TestMapper`和`TestReducer`,利用提供的...

    apache-mrunit-1.1.0-hadoop2-bin.tar

    2. **Combiner测试**:对于那些使用Combiner优化的MapReduce作业,MRUnit提供了专门的接口来测试Combiner的正确性,确认它是否能正确地减少数据在网络中传输的量,且不影响最终结果。 3. **Hadoop2兼容性**:MRUnit...

    mrunit-1.1.0-hadoop2.jar

    MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。

    hadoop-0.21.0-mrunit.jar

    hadoop-0.21.0-mrunit.jar

    hadoop-mrunit-0.20.2-cdh3u4.jar

    用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

    apache-mrunit-1.1.0-hadoop2-bin.tar.gz

    官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz,用法跟JUnit相似,需要的朋友拿走

    mrunit测试插件

    非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功

    Hadoop专业解决方案-第5章开发可靠的MapReduce应用.docx

    通过编写测试类,将Mapper和Reducer作为参数传递给测试方法,例如,可以使用`@Test`注解标记测试方法,并使用MRUnit提供的API来模拟输入数据和验证输出结果。 测试Mapper类时,MRUnit提供了直观的API,可以直接设置...

    MR Unit test需要的相关jar包

    3. 使用MRUnit API:在测试方法中,使用MRUnit提供的`runTest()`、`assertMap()`、`assertReduce()`等方法来设置输入数据,执行Map和Reduce阶段,并验证输出结果。 4. 模拟和隔离:利用Mockito和PowerMock创建模拟...

    hadoop学习笔记.rar

    MRUnit是针对MapReduce任务的单元测试框架,它允许开发者对MapReduce作业进行单元测试,确保每个Mapper和Reducer的功能正确性。通过MRUnit,可以在不实际运行Hadoop集群的情况下,对代码进行测试,提高了开发效率和...

    HadoopMRunit_Winutils

    hadoop mrunit调试和winutils本地、远程调试。对应博客地址:http://blog.xiaoxiaomo.com/2016/05/20/Idea-Eclipse-Windows下调试Hadoop/

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    13.1.2 MRUnit . 技术点79 MapReduce 函数、作业和管道的单元测试 13.1.3 LocalJobRunner 技术点80 用LocalJobRunner 进行重量级的作业测试 13.1.4 集成和QA 测试 13.2 调试用户空间的问题 13.2.1 ...

    LogAnalyzer:Apache日志分析器

    java” 单元测试路径: “ src / test / java” 样本输入日志文件路径: “输入” 样本输出路径: “已排序”特征LogAnalyzer的开发目的是演示以下功能: 编写MapReduce Java程序使用柜台使用排序比较器使用MRUnit ...

    hadoop权威指南 第三版 英文版

    - 使用MRUnit编写测试单元。 - 输出提交机制。 - 分布式缓存功能。 - 任务内存监控。 - 通过MapReduce处理Avro数据。 - 在Oozie中运行简单的MapReduce工作流。 - **HDFS增强**: - 高可用性(HA)支持。 - ...

Global site tag (gtag.js) - Google Analytics