`
youkimra
  • 浏览: 34670 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

郁闷的hadoop reduce不能运行

阅读更多
昨天在修改自己程序的时候运到一个问题,首先修改程序的原因是修改前的版本所有逻辑处理都在map中执行,没有用到reduce。后来觉得将一部分逻辑处理放在map,一部分让在reduce中。
在重写reduce方法后部署到集群中运行reduce方法体中代码不能运行,起初以为是job配置时写错了format。经过多次调整并确保格式没有任何问题,那问题到底在哪呢,我们看看重写的reduce方法:

这是我之前的reduce方法,输入输出都为Text,
public class ExtractorReducer extends Reducer<Text, Text, Text, Text>{
  public void reduce(Text key, Iterator<Text> inValues, Context context) throws IOException {

}

后来在重写方法的前面加上@Override后就报错了。根据这个情况仔细看了下原来是Iterator错了,0.20.2改成了Iterable,而Iterator还是0.19的写法。

public class ExtractorReducer extends Reducer<Text, Text, Text, Text>{
@Override
public void reduce(Text key, Iterable<Text> inValues, Context context) throws IOException {


}

终于可以运行,给我提了个醒,如下:
1 要细心观察,看看那错了,不能大意。
2 重写方法前加上@Override,这个很有好处的。
分享到:
评论

相关推荐

    hadoop map-reduce turorial

    在深入学习Hadoop Map-Reduce之前,确保Hadoop已安装、配置且运行正常。对于初次使用者,推荐参考Hadoop快速入门指南;对于大型分布式集群环境,则需查阅Hadoop集群设置文档,以确保系统能够高效稳定地运行Map-...

    Hadoop Reduce Join及基于MRV2 API 重写

    标题 "Hadoop Reduce Join及基于MRV2 API 重写" 涉及到的是大数据处理框架Hadoop中的一个重要操作,即数据连接(Join)。在Hadoop MapReduce中,Reduce Join是一种实现大规模数据集间连接的高效方法。本文将探讨...

    Hadoop Map Reduce教程

    - **YARN**:YARN (Yet Another Resource Negotiator) 是 Hadoop 2.x 版本引入的新资源管理系统,它使得 Hadoop 集群能够运行多种类型的计算任务。 - **Hive**:Hive 是一个数据仓库工具,允许用户通过 SQL 查询来...

    hadoop map reduce 中文教程

    每个案例都详细列出了实践步骤,包括如何编写 Map 和 Reduce 函数、如何配置 Hadoop 环境、如何运行 MapReduce 任务等。 #### 六、总结 Hadoop MapReduce 是一种非常强大的分布式数据处理工具,它通过简单的编程...

    最高气温 map reduce hadoop 实例

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它专为分布式存储和处理大量数据而设计。本实例将介绍如何使用Hadoop MapReduce解决一个实际问题——找出给定数据集中的最高气温。MapReduce是一种编程模型,...

    远程调用执行Hadoop Map/Reduce

    3. **TaskTracker(Hadoop 1.x)或NodeManager(Hadoop 2.x+)**:运行在每个节点上的进程,负责执行由ResourceManager分配的任务。 4. **Map任务**:Map函数接收输入数据,将其切分为键值对,然后应用用户定义的...

    hadoop中map/reduce

    在大数据处理领域,Hadoop是不可或缺的核心框架,其核心组件MapReduce则是分布式计算的重要实现方式。MapReduce的设计理念源于Google的同名论文,它通过将大规模数据处理任务分解为两个阶段:Map(映射)和Reduce...

    Hadoop Map-Reduce教程

    - **容错性高**: Hadoop 自带的数据冗余机制可以确保数据安全,即使部分节点故障也能继续运行。 - **易于编程**: Map-Reduce 模型提供了一种简洁的方式来进行并行编程,降低了编写分布式程序的难度。 ##### 局限性 ...

    hadoop_join.jar.zip_hadoop_hadoop query_reduce

    用户可以使用Hadoop的命令行工具`hadoop jar`来运行这个JAR文件,执行特定的Join查询任务。例如,命令可能如下: ```bash hadoop jar hadoop_join.jar input_path output_path ``` 在这个命令中,`input_path`是...

    Map-Reduce原理体系架构和工作机制,eclipse与Hadoop集群连接

    - 将编写的Map-Reduce应用程序提交到Hadoop集群。 - 监控作业的执行进度和状态。 ### 总结 Map-Reduce不仅是一种处理大数据的强大工具,也是一种灵活的编程模型,可以适应多种类型的数据处理需求。通过将任务分解...

    Hadoop示例程序WordCount运行及详解

    Hadoop示例程序WordCount运行及详解 Hadoop平台上进行WordCount是非常重要的,掌握了WordCount可以更好地理解Hadoop的map-reduce编程模型。本文将详细讲解Hadoop平台上WordCount的运行和实现。 基于Hadoop的map-...

    hadoop之map/reduce

    7. 提交Job到Hadoop集群运行。 此外,项目结构还按照业务场景划分为AR、AP、GL、INV和PO模块,分别对应应收账管理、应付账管理、总账管理、库存管理和采购管理。每个模块可能有自己的特定逻辑和数据处理需求,可以...

    Windows平台下Hadoop的Map/Reduce开发

    在Windows平台上进行Hadoop的Map/Reduce开发可能会比在Linux环境下多一些挑战,但通过详细的步骤和理解Map/Reduce的工作机制,开发者可以有效地克服这些困难。以下是对标题和描述中涉及知识点的详细说明: **Hadoop...

    Hadoop系统安装运行与程序开发

    需要注意的是,在集群分布模式下,已经在单机或伪分布模式下编写并调试完成的程序,在不进行修改的情况下,可以运行在真实的分布式Hadoop集群中,尽管通常需要修改配置。 3. Hadoop集群远程作业提交与执行 在集群...

    hadoop 运行原理分析

    Hadoop的运行原理分析深入揭示了其作为分布式处理方案的核心优势,即能够通过简单的编程模型,将复杂的数据处理任务分布到大规模的机器集群上,大幅度提升数据处理和分析的效率。对于刚刚入门的IT人员来说,掌握...

    Hadoop运行原理分析pdf

    《Hadoop运行原理分析》是深入理解大数据处理框架Hadoop的核心读物,它详细解析了Hadoop如何在大规模数据集上高效运行。本文件主要涵盖了以下几个关键知识点: 1. **Hadoop概述**:Hadoop是Apache软件基金会开发的...

    Hadoop集群-WordCount运行详解.pdf

    Hadoop采用MapReduce编程模型来实现分布式计算,MapReduce是Hadoop的核心组件,它将复杂的、运行在大规模集群上的并行计算问题简化为两个关键操作:Map(映射)和Reduce(归约)。 MapReduce理论简介中,1.1.1...

    hadoop,map,reduce,hdfs

    #### 在云端运行Hadoop 随着云计算技术的发展,越来越多的企业选择在云平台上部署Hadoop集群。这种方式不仅节省了硬件成本,还能充分利用云服务的弹性和扩展性。 #### Hadoop集群管理 Hadoop集群的管理包括监控、...

    Hadoop学习总结之四:Map-Reduce过程解析

    ### Hadoop MapReduce任务提交与执行流程解析 #### 一、客户端提交任务 在Hadoop MapReduce框架中,客户端的任务提交是整个MapReduce作业启动的关键步骤。这一过程主要由`JobClient`类中的`runJob(JobConf job)`...

    hadoop 运行成功代码(wordcount)

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。WordCount是Hadoop入门的经典示例,用于统计文本中单词出现的次数。本项目将详细介绍如何在Hadoop环境中成功运行WordCount程序...

Global site tag (gtag.js) - Google Analytics