`

Hadoop 自定义Counters

 
阅读更多

 

enum name:group name
enum filed:counter name
static enum ClaimsCounters {Missing,QUIED};


if(key.toString().contains("3")){
	arg3.incrCounter(ClaimsCounters.Missing, 1);
}else if(key.toString().contains("1")){
	arg3.incrCounter(ClaimsCounters.QUIED, 1);
}


信息:   mpMapper$ClaimsCounters
2012-3-21 10:29:49 org.apache.hadoop.mapred.Counters log
信息:     Missing=1
2012-3-21 10:29:49 org.apache.hadoop.mapred.Counters log
信息:     QUIED=5
分享到:
评论

相关推荐

    Hadoop - Hadoop in Action

    - **Partitioner自定义**:控制如何分配数据到不同的Reducer中。 - **ChainMapper和ChainReducer**:在一个MapReduce作业中串联多个Map和Reduce任务。 - **Counters和Progress监控**:监控作业进度和性能指标。 ###...

    Hadoop大数据实训,求最高温度最低温度实验报告

    2. **自定义计数器(Custom Counters)**:在MapReduce作业中,计数器是一种有用的工具,可以用来跟踪和统计各种指标。在这个实验中,可能会使用自定义计数器来记录不同年份的气温记录数量,或者处理的行数等,以...

    Hadoop技术培训大纲.pdf

    此外,还介绍了Hadoop Tools、Counters、MapReduce的优化策略,以及如何通过Hive和Pig进行数据处理。Hive是基于Hadoop的数据仓库,提供了SQL-like查询语言,而Pig则是一种数据流编程工具,两者都简化了大数据分析的...

    第一个Mapreduce程序.pdf

    搭建CDH5后,自带的example也已经能够运行,为编写自定义的MapReduce作业打下基础。 编写MapReduce程序通常需要以下jar包:hadoop-client, hadoop-common, hadoop-hdfs, hadoop-mapreduce-client-core和commons-cli...

    Hadoop_MapReduce教程

    - **Counters**:Counters 用于统计作业过程中的各种计数器信息,如处理的记录数量等。 - **DistributedCache**:DistributedCache 可以在作业运行时将一些辅助文件分发到各个 TaskTracker 上,便于 Mapper 或 ...

    hadoop命令指南

    这个条目可能是指用户可以运行的任何自定义类,通常用于扩展Hadoop的功能。 **命令格式**: ``` hadoop CLASSNAME [ARGUMENTS...] ``` **示例**: ``` hadoop ...

    secondarysort.zip

    Counters是Hadoop MapReduce中的一种统计机制,用于在作业执行过程中跟踪和记录各种计数信息。开发者可以创建自定义的Counter来监控任务的进度、错误或者其他感兴趣的指标。同时,项目还包含了.properties文件,这...

    haboop 配置文件

    除此之外,Hadoop还允许用户通过`capacity-scheduler.xml`文件自定义队列容量和公平性策略,这对于多用户共享集群资源时尤为重要。 在“haboop”的环境中,可能还需要对特定的哈希表(Hashtables)进行配置,哈希表...

    MapReduce 设计模式

    8. 计数模式(Counting with Counters):计数器是MapReduce中用于记录任务执行过程中特定事件次数的机制。它可以用来监控MapReduce作业的性能,例如计算错误数据的数量或特定数据的出现频率。 9. 过滤模式...

Global site tag (gtag.js) - Google Analytics