`
lbxhappy
  • 浏览: 308189 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于hadoop2.0自定义计数器

 
阅读更多
最近写了个mapReduce进行数据分析,发现数据不合理,想写一个计数器对某些发生异常的记录进行计数,但是查看了《hadoop权威指南》后发现使用的API是1点几 ,在网上搜到的也是1点几的例子,都用到了reporter,但是现在2.0后已经不用他,map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承,一下是使用计数器的例子,map方法内部分代码:

if (result == null || result.size()<=0) {
context.getCounter("otherKW_count", "rs is null").increment(1);
return;
else{
   context.getCounter("otherKW_count", "rs is not null").increment(1);
}
第一个参数是属于哪个计数器租,第二个参数是计数器名称,increment(1)是对计数器累加一
0
0
分享到:
评论

相关推荐

    Hadoop2.0开发环境搭建

    涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建

    Hadoop 2.0基本架构和发展趋势

    ### Hadoop 2.0基本架构和发展趋势 #### 什么是Hadoop 2.0? Hadoop 2.0是Apache Hadoop的一个重大升级版本,它引入了YARN(Yet Another Resource Negotiator)作为其核心组件之一,以解决Hadoop 1.x版本中...

    hadoop2.0安装手册

    hadoop 2.0 详细安装手册。hadoop 2.0 详细安装手册。

    Hadoop 2.0安装部署方法

    Hadoop 2.0作为该框架的一个重要版本,引入了YARN(Yet Another Resource Negotiator)作为资源管理平台,提供了更好的资源管理和任务调度能力。本文档提供了Hadoop 2.0在Linux系统上安装部署的详细步骤和方法。 一...

    Hadoop2.0部署文档

    【Hadoop 2.0 部署详解】 在大数据处理领域,Apache Hadoop 是一个不可或缺的开源框架,尤其在大规模数据存储和处理方面表现出强大的能力。Hadoop 2.0 引入了高可用性(HA)特性,极大地提高了系统的稳定性。本文将...

    Hadoop2.0安装详细步骤

    本文是详细的Hadoop2.0安装方法步骤

    Hadoop安装手册_Hadoop2.0.pdf

    hadoop2.0版本安装手册,包含hadoop、hive、hbase、mahout、sqoop、spark、storm、整个体系的安装配置

    实战Hadoop2.0 PPT

    【实战Hadoop 2.0】是一套深入学习Hadoop生态系统的PPT文档,涵盖了Hadoop分布式文件系统(HDFS)、资源调度器YARN、数据分析工具Spark、Ambari管理平台等多个关键组件。以下是这些核心知识点的详细解析: 1. **...

    hadoop 2.0

    ### Hadoop 2.0:从YARN到下一代大数据处理平台 #### 1. Hadoop 2.0:新时代的大数据处理平台 Hadoop 2.0是Apache Hadoop的一个重要版本,它标志着Hadoop从单一的MapReduce计算框架转变为一个更加通用、可扩展和...

    大数据系列-Hadoop 2.0

    在大数据领域,Hadoop 2.0 是一个关键的分布式计算框架,它为海量数据处理提供了强大支持。本文将深入探讨Hadoop 2.0的主要组件、架构、以及其相较于Hadoop 1.0的改进。 一、Hadoop 2.0概述 Hadoop 2.0是Apache软件...

    Hadoop 2.0部署配置文件示例.zip

    以上就是关于Hadoop 2.0部署配置文件的一些基础知识,理解这些概念和配置文件的用途对于成功搭建和维护Hadoop集群至关重要。在实际操作中,还需要根据具体需求进行微调和优化,以实现最佳的性能和稳定性。

    云计算第三版精品课程配套PPT课件含习题(29页)第6章 Hadoop 2.0 大家族(三).pptx

    6.1 Hadoop 2.0 大家族概述 Hadoop 2.0 是一个开源的分布式计算框架,是Hadoop生态系统的核心组成部分,它在Hadoop 1.0的基础上进行了重大改进,引入了YARN(Yet Another Resource Negotiator),使得系统更加灵活和...

    实战Hadoop 2.0:从云计算到大数据(第二版)

    实战Hadoop 2.0:从云计算到大数据(第二版)

    《Hadoop大数据开发实战》教学教案—06Hadoop2.0新特性.pdf

    【Hadoop2.0的新特性】 在大数据处理领域,Hadoop是一个不可或缺的开源框架,其发展历经多个版本,其中Hadoop2.0是重要的里程碑,它针对Hadoop1.0的一些关键问题进行了显著的改进。本章节我们将深入探讨Hadoop2.0的...

    云计算第三版精品课程配套PPT课件含习题(33页)第5章 Hadoop 2.0 主流开源云架构(五).pptx

    【云计算第三版精品课程配套PPT课件含习题】是一个全面覆盖云计算基础知识及实践的教育资源,特别关注了Hadoop 2.0这一主流开源云架构。本课程内容包括大数据与云计算的基础理论、Google云计算原理、Amazon AWS详解...

    云计算第三版精品课程配套PPT课件含习题(30页)第5章 Hadoop 2.0 主流开源云架构(四).pptx

    《云计算(第三版)》配套课程的PPT涵盖了云计算的多个关键领域,特别是对Hadoop 2.0这一主流开源云架构的深入讲解。Hadoop 2.0是大数据处理的关键技术之一,它在分布式计算中扮演着核心角色。本课程内容丰富,适合...

    Hadoop2.0分布式HA环境部署

    ### Hadoop2.0分布式HA环境部署 #### Hadoop2.0 HA机制概览 Hadoop2.0相比Hadoop1.0,在集群稳定性与可用性方面进行了显著增强,特别是引入了High Availability (HA)机制。Hadoop1.0中仅存在单一的NameNode作为元...

    云计算第三版精品课程配套PPT课件含习题(26页)第5章 Hadoop 2.0 主流开源云架构(二).pptx

    《云计算(第三版)》是由刘鹏教授主编的教材,配套的PPT课件涵盖了从大数据与云计算的基础概念,到主流的云服务提供商如Google、Amazon、微软的云计算平台介绍,再到开源云架构Hadoop 2.0的深入探讨。本部分主要...

    大数据处理--hadoop2.0核心架构技术

    大数据处理--hadoop2.0核心架构技术,主要介绍了大数据面临的挑战,而hadoop正是解决这些挑战的重要技术,接着分别介绍了hadoop1.0和hadoop2.0的区别,进而重点讲到hadoop2.0 YARN,详细分析MapReduce及HDFS架构。

    Hadoop 2.0 详细配置教程 (2).docx

    【Hadoop 2.0 知识点详解】 Hadoop 2.0 是 Apache 开源项目的一个重要版本,它的设计目标是打造一个可扩展、可靠的分布式系统,支持大数据处理。Hadoop 包含多个子项目,如 Hadoop Common、HDFS(Hadoop ...

Global site tag (gtag.js) - Google Analytics