`
扬州老鬼
  • 浏览: 306280 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

MultipleInputs.addInputPath注意点

阅读更多
原创,转载请注明出处:

使用MultipleInputs.addInputPath添加多输入源(超过两个)的时候:
MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);
MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class);
MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);

我的文件格式是:
otheArgs[0]指向的文件格式:
key1 keyname1
key2 keyname2

otheArgs[1]指向的文件格式:
key1 valA1
key2 valA2

otheArgs[2]指向的文件格式:
key1 valB1
key2 valB2


在elipse里面运行指定参数的时候,如果otheArgs[2]和otheArgs[1]相同,那么此时MultipleInputs只执行其中一条addInputPath语句,我的测试环境中测试出来的结果就是执行了
MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);

1.要求otheArgs[2]和otheArgs[1]要不一样。
2.reduce之后生成文件是:
key1 keyname1 valA1
key2 keyname2 valA2
key1 keyname1 valB1
key2 keyname2 valB2

而不是:
key1 keyname1 valA1 valB1
key2 keyname2 valA2 valB2

所以要实现第二种join的结果,我觉得还是要使用MapReduce job流的相关控制了。


2
0
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics