`
lbxhappy
  • 浏览: 305895 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于hadoop2.0自定义计数器

 
阅读更多
最近写了个mapReduce进行数据分析,发现数据不合理,想写一个计数器对某些发生异常的记录进行计数,但是查看了《hadoop权威指南》后发现使用的API是1点几 ,在网上搜到的也是1点几的例子,都用到了reporter,但是现在2.0后已经不用他,map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承,一下是使用计数器的例子,map方法内部分代码:

if (result == null || result.size()<=0) {
context.getCounter("otherKW_count", "rs is null").increment(1);
return;
else{
   context.getCounter("otherKW_count", "rs is not null").increment(1);
}
第一个参数是属于哪个计数器租,第二个参数是计数器名称,increment(1)是对计数器累加一
0
0
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics