`
heipark
  • 浏览: 2102099 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

使用cloudera MRUnit测试你的Mapreduce代码

 
阅读更多

    向大家强烈推荐cloudera的mrunit非常好用,简直可以说太棒了,我的一个略微复杂的MR job每次测试都不够敏捷,有时候使用mock,有时候部署到线上,调试耗时非常巨大,最近开始使用mrunit,有了它,每次只要跑起测试,一起尽在掌控,尽情重构。它可以测试你的Mapper、Reducer以及mapreduce整个运行过程。贴个淘宝QA团队的文章链接写的不错:

 

 

《Hadoop学习笔记之三:用MRUnit做单元测试》

http://qa.taobao.com/?p=10550

 

--heipark

分享到:
评论

相关推荐

    java调用Cloudera Manager Api实例

    确保你的代码兼容你正在使用的CM版本,并在升级时更新API调用。 综上所述,通过Java调用Cloudera Manager API,你可以实现自动化管理Cloudera集群,包括监控、配置、部署和维护等任务。这个过程需要对HTTP请求、...

    Cloudera hadoop开发员培训教材

    此外,学员还将学习到如何对MapReduce程序进行单元测试,这是软件开发中保证代码质量的重要步骤。 教材还会介绍如何更深入地探索Hadoop API,包括如何使用MapReduce的Combiners、Partitioners以及分布式缓存等高级...

    windows下编写mapreduce程序

    5. **开发与测试**:在Windows上,你可以使用Eclipse或IntelliJ IDEA等集成开发环境(IDE)编写Java代码。使用Hadoop的本地模式(Local Mode)可以在单机上测试MapReduce程序,而无需集群。 6. **源码理解**:阅读...

    Cloudera的yarn任务监控api

    本文将深入探讨Cloudera提供的YARN任务监控API,以及与之相关的Hadoop MapReduce API,帮助开发者更好地理解和利用这些工具进行集群管理和任务监控。 首先,我们关注YARN的Resource Manager API。Resource Manager...

    大数据集群Cloudera Manager日常运维手册.docx

    Cloudera Manager日常运维手册是大数据集群管理员的必备指南,它提供了详细的操作指南和维护技巧,帮助管理员快速熟悉Cloudera Manager的使用和维护。 一、登录Cloudera Manager Cloudera Manager的登录过程非常...

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    总之,通过以上内容的详细介绍,我们可以了解到CDH7.5更名CDP后的一系列变化以及如何使用Cloudera Manager进行集群的安装和管理。同时,通过参考提供的安装文件和教程,用户可以更加顺利地完成整个安装流程。

    Centos7 安装Cloudera PDF 下载

    这些程序可以直接在Cloudera环境中部署和测试,进一步提升数据分析能力。 总的来说,安装Cloudera on CentOS 7为Java开发者提供了一个强大的平台,用于处理和分析大数据。通过Cloudera管理器,你可以轻松管理集群,...

    CLOUDERA-Manager-中文手册

    Cloudera Manager是CDH(Cloudera Distribution Including Apache Hadoop)的重要组成部分,CDH是一个全面的数据管理平台,集成了各种Hadoop组件,如HDFS、MapReduce、HBase等。作为市场领先的管理平台,Cloudera ...

    Cloudera技术参考资料

    - **概述:** CDH 是 Cloudera 推出的一款基于 Hadoop 的发行版,包含了 Hadoop 生态系统中的多种工具和技术,如 HDFS、MapReduce、YARN 等。 - **特点:** 高度集成、易于部署、稳定可靠,支持多种数据格式和计算...

    cloudera 5.12.zip

    4. **创建数据库**:使用提供的SQL脚本创建Cloudera Manager所需的数据库。 5. **配置Cloudera Manager**:通过Web界面进行初始配置,包括设置管理员账号、添加主机、配置网络和安全设置。 6. **部署CDH**:在...

    CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册.pdf

    "Cloudera Manager中文手册" Cloudera Manager是一款基于大数据管理平台,用于管理Hadoop集群和CDH...该手册为用户提供了详细的产品介绍、基本功能和监控功能等内容,帮助用户快速了解和使用Cloudera Manager。

    Cloudera 5.4.x Documentation系列官方文档

    cloudera-impala.pdf-impala使用文档 cloudera-installation.pdf-安装CDH和CM的文档 cloudera-introduction.pdf-基本介绍文档 cloudera-operation.pdf-操作使用文档 cloudera-quickstart.pdf-虚拟机快速使用(免安装)...

    cloudera manager 安装cdh 搭建大数据集群,详细讲解核心

    Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法,主要分为 Server 端和 Agent 端安装。 1. Server 端安装: * 使用 yum 安装 cm...

    Cloudera CDH集群运维手册

    《Cloudera CDH集群运维手册》是一份深入解析Cloudera CDH集群管理与运维的详尽指南,尤其适合已经或计划使用Cloudera CDH进行大数据处理的团队参考。Cloudera CDH(Cloudera Distribution Including Apache Hadoop...

    第一个Mapreduce程序.pdf

    用户可以使用MapReduce编写程序,这些程序可以在分布式环境中运行。Hadoop MapReduce是Hadoop的子项目,用于处理大规模数据。Java是一种广泛使用的编程语言,可以在Hadoop MapReduce中编写程序。本文主要介绍了如何...

    cloudera search官网参考资料

    在**使用Cloudera Manager**安装Cloudera Search时,整个过程会自动化很多,包括安装、配置和管理。而**不使用Cloudera Manager**进行安装则需要手动处理更多的配置细节,比如安装ZooKeeper、配置Solr环境变量等。 ...

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。 首先,确保在添加Hive数据库前,系统中不存在先前安装的MySQL版本。使用命令rpm -qa |...

    cloudera 管理文档

    综上所述,Cloudera管理文档是一份非常详尽的技术文档,它不仅涵盖了Cloudera平台的基本概念和使用方法,还深入介绍了如何配置和管理Hadoop集群,对于正在使用或计划使用Cloudera平台的企业和个人来说,是一份不可或...

    cloudera-impala官方手册

    与传统的 MapReduce 相比,Impala 提供了近实时的数据分析能力,能够支持 SQL 查询,为用户提供类似传统数据库的使用体验。 #### 二、Impala 的优势 Impala 的核心优势在于其能够提供快速的数据查询能力以及高并发...

    Cloudera基础培训材料.pdf

    基本模式示例部分,将通过具体的代码或配置示例,展示Avro模式的定义和使用方法。这有助于学习者理解如何在实际应用中定义和使用Avro模式。 选择文件格式的考虑因素部分,将指导学习者如何根据数据处理需求选择合适...

Global site tag (gtag.js) - Google Analytics