`
febird
  • 浏览: 254277 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MultipleInputs/MultipleOutpus

MapreduceHadoop工作 
阅读更多

仔细看了一下 Hadoop.MapReduce 的代码，发现了两个新类：MultipleInputs/MultipleOutpus，再仔细看它们的详细文档，的确实现了我想要的功能 ：

不同的InputPath，可是使用不同的InputFormat 和 Mapper

可以将不同类型（可能是多种计算）的结果写入不同的Reduce Output。

 

再看一下它们的实现代码，让我大失所望，MultipleInput 还行，没有白白折损效率的地方，MultipleOutput就太让我大跌眼镜了！简单的写一条记录出去，白白做的额外工作的耗时，可以写30条记录了。

 

多了解MapReduce的整体实现，可以考虑自己做一个更高效的MultiOutput。

0
顶
0
踩
分享到：
| 愿微软早日倒掉
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    示例-MapReduce-MultipleInputs用法

    在某些场景下，我们可能需要处理来自多个不同数据源的数据，这时，MapReduce 提供了一个名为 `MultipleInputs` 的工具类，使得我们可以方便地将多个输入源合并到一个 MapReduce 作业中，同时保持独立的 Mapper 处理...

    hadoop mapreduce多表关联join多个job相互依赖传递参数

    - **MultipleInputs/MultipleOutputs**：Hadoop API提供的工具类，用于一个Job处理多个输入源或产生多个输出结果。 3. **参数传递**： - **JobConf**：每个Job都有自己的JobConf对象，可以通过设置conf属性将参数...

    多输入问题

    解决多输入问题的一个常见方法是使用`MultipleInputs`类，这是Hadoop MapReduce库中提供的一个工具类。`MultipleInputs`允许我们在一个Job中添加多个输入格式和路径，从而实现对多个输入源的处理。以下是如何使用`...

    MultipleInputFormat:Map Reduce中多输入格式的使用

    多输入格式 Map Reduce中多输入格式的使用 Multiple Input Format的主要用途是通过Map Reduce Programming处理两个或多个不同格式的... MultipleInputs.addInputPath(wcJob, new Path(args[0]), TextInputFormat.class,

    SNMHadoopTest

    为了利用 Hadoop 不可用的高级功能（据我所知）流式 A​​PI 功能，我选择提供一个纯 Java 解决方案（它提供了诸如 DBInputFormat、MultipleInputs、PartitionerClass、GroupingComparatorClass 等功能） ）。...

Magicbox
Global site tag (gtag.js) - Google Analytics