`
run_xiao
  • 浏览: 194945 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

mrunit扩展

阅读更多

MRUnit是一个对MapReduce开发做单元测试很不错的工具,但令人不太爽的,MapReduce应用基本都是处理大量数据的应

 

用,而MRUnit居然不支持从文件中load测试的输入和输出数据,要在代码中构造一坨一坨数据,实在令人不快。

 

昨天花了大半天的时间,扩展了一下mrunit的MapReduceDriver,可以方便的将测试输入和输出放在同一文件中,基本满足

 

了一般情况下的单元测试的需要,这样就不用在测试代码中构造一堆恶心的String了.

 

-------------------------------------------------------------------------------------------------------

 

最近又做了些小小改进,增加了对secondary sort的支持,用起来还不错咧

分享到:
评论
1 楼 swingfly 2012-02-28  
能共享一下关于支持secondary sort,修改后的代码吗?

相关推荐

    mrunit-1.1.0-hadoop2

    mrunit mrunit mrunit mrunit

    Mrunit-1.1.0-hadoop2

    《深入理解Mrunit-1.1.0-hadoop2:Hadoop MapReduce单元测试利器》 在大数据处理领域,Hadoop作为开源的分布式计算框架,为海量数据处理提供了强大支持。然而,随着项目的复杂度增加,确保代码的正确性和稳定性变得...

    mrunit-1.1.0.jar

    《MRUnit:Hadoop MapReduce的本地测试框架》 MRUnit是Apache Hadoop项目的一个重要组件,主要用于MapReduce程序的单元测试。这个工具的核心在于它为开发者提供了一种在本地环境执行MapReduce任务的能力,无需实际...

    Hadoop MRUnit测试

    **Hadoop MRUnit测试** Hadoop MRUnit是一个用于测试MapReduce程序的强大工具,它允许开发者在没有实际Hadoop集群的情况下,对MapReduce作业进行单元测试。这个框架模拟了Hadoop MapReduce的执行环境,使开发者可以...

    apache-mrunit-1.1.0-hadoop2-bin.tar

    Apache MRUnit 是一个针对Hadoop MapReduce框架的单元测试工具,专为开发人员设计,用于测试MapReduce程序的各个部分,包括Mapper、Reducer以及Combiner。MRUnit 1.1.0是针对Hadoop 2.x版本的一个特定构建,确保了与...

    mrunit-1.1.0-hadoop2.jar

    MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。

    hadoop-0.21.0-mrunit.jar

    hadoop-0.21.0-mrunit.jar

    hadoop-mrunit-0.20.2-cdh3u4.jar

    用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

    apache-mrunit-1.1.0-hadoop2-bin.tar.gz

    官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz,用法跟JUnit相似,需要的朋友拿走

    mrunit测试插件

    非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功

    Hadoop专业解决方案-第5章开发可靠的MapReduce应用.docx

    【描述】:本章专注于提升MapReduce应用的可靠性,通过MRUnit创建单元测试,进行本地实例测试,理解和调试MapReduce,以及采用防御式编程策略处理可能出现的问题。 【标签】:技术方案 【正文】: 在开发...

    MR Unit test需要的相关jar包

    2. powermock-mockito-1.5.5-full.jar:PowerMock是一个扩展了其他模拟框架(如Mockito)的功能库,允许我们在不可模拟的类上进行模拟,例如静态方法、构造函数、私有方法和final类。在MapReduce测试中,如果我们的...

    HadoopMRunit_Winutils

    hadoop mrunit调试和winutils本地、远程调试。对应博客地址:http://blog.xiaoxiaomo.com/2016/05/20/Idea-Eclipse-Windows下调试Hadoop/

    hadoop学习笔记.rar

    MRUnit是针对MapReduce任务的单元测试框架,它允许开发者对MapReduce作业进行单元测试,确保每个Mapper和Reducer的功能正确性。通过MRUnit,可以在不实际运行Hadoop集群的情况下,对代码进行测试,提高了开发效率和...

    李建伟:Hadoop新技术介绍

    - MRUnit:是一个用于MapReduce任务单元测试的库。 - HCatalog:是Hadoop生态系统中的一个表和服务管理工具,允许用户访问存储在Hadoop的数据。 - Sqoop:是一个用于在Hadoop和关系数据库之间高效传输大量数据的...

    Spark集成到企业大数据堆栈的成功和挑战

    Konstantin Boudnik是WANdisco大数据工程总监,负责提供公司的企业级NonStop服务器的Hadoop解决方案,ASF的Hadoop、MRUnit提交者、ASF Bigtop的合著者、Spark/Shark贡献者。此次Spark峰会上 Konstantin Boudnik介绍...

    mapreduce_training:用于教学目的的MapReduce应用程序集

    具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...

Global site tag (gtag.js) - Google Analytics