`
zhouchaofei2010
  • 浏览: 1106809 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

mapreduce作业状态一直是ACCEPTED

 
阅读更多

搭建yarn环境后,执行 hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /host1 /out1

执行一直停留在Running job:



 

 

打开yarn web 页面http://crxy1:8088/cluster

app的作业state停留在Accepted上

 



 

点击ID列的作业链接进去

 

英文翻译大概如下:

 

stucks at accepted state

Yarn job stuck with no application master being assigned

 

 MapReduce jobs get stuck in Accepted state 

 

 

刚开始想到可能是内存问题,英文google查的资料提到的解决方法和设置资源的内存有关系

 

后来把节点的虚拟机内存从512M到1G还是不能解决问题

 

 

后来,想到下一步骤应该是作业提交后RM应与NN之间关于分配资源执行的事情了,于是查看了下nodeManager的日志

 

tail -f yarn-root-nodemanager-crxy6.log

提示:

Retrying connect to server: 0.0.0.0/0.0.0.0:8031

 

查了下这是因为node节点上没有配置RM的原因,

 

把crxy1 yarn-site.xml

 

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>crxy1</value>

 </property>

 

复制到nodeManager上,重启集群,执行hadoop jar,的mr任务执行成功!!!

 

 

 

 

 

 

 

 

  • 大小: 68.3 KB
  • 大小: 47.5 KB
  • 大小: 56 KB
0
0
分享到:
评论

相关推荐

    用于多个MapReduce作业的任务调度算法.pdf

    用于多个MapReduce作业的任务调度算法 一、任务调度算法概述 任务调度算法是计算机科学和软件工程中的一种重要技术,用于优化计算资源的分配和任务执行顺序。MapReduce是Hadoop生态系统中的一个核心组件,广泛应用...

    基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf

    MapReduce作业,导致大量的I/O操作和网络传输,影响了整体ETL流程的效率。尽管Hadoop提供了链式MapReduce接口来减少作业数量,但这种原生机制仍存在不足。 在本文的研究中,作者首先对MapReduce作业的执行流程进行...

    基于Hadoop的MapReduce作业集合.zip

    基于Hadoop的MapReduce作业集合 项目简介 本项目是一个基于Hadoop的MapReduce作业集合,涵盖了多种数据处理和分析任务。通过这些作业,用户可以学习如何在Hadoop平台上进行大规模数据处理,包括数据统计、排序、...

    MapReduce暑假大作业——基于紫荆的种子推荐.zip

    在这个“MapReduce暑假大作业——基于紫荆的种子推荐”项目中,我们将会深入理解并实践如何利用MapReduce来解决实际问题,特别是针对大数据环境下的推荐系统。这个项目涉及到的核心知识点包括MapReduce的工作原理、...

    面向云计算的期限约束的MapReduce作业调度方法.pdf

    1. 资源分配策略:调度器需要根据资源的当前状态和历史使用情况,高效地将MapReduce作业分配到可用的计算资源上。 2. 性能优化:调度算法应该优化作业执行的总时间,包括作业等待时间、数据传输时间以及实际计算...

    Python-mrjob在Hadoop或AmazonWebServices上运行MapReduce作业

    Python的`mrjob`库是开发和运行MapReduce作业的强大工具,尤其适用于在Hadoop或Amazon Web Services (AWS)环境中。这个库简化了在分布式计算系统中执行数据处理任务的过程,使得Python开发者无需深入理解Hadoop的...

    Hadoop MapReduce作业卡死问题的解决方法.docx

    ### Hadoop MapReduce作业卡死问题的解决方法 #### 一、问题背景 在使用Hadoop MapReduce进行大规模数据处理的过程中,遇到了一个棘手的问题——部分MapReduce作业长时间卡死,严重影响了系统的运行效率和资源利用...

    行业分类-设备装置-一种基于Hadoop云计算平台的MapReduce作业流式调度方法及调度系统.zip

    标题中的“行业分类-设备装置-一种基于Hadoop云计算平台的MapReduce作业流式调度方法及调度系统”表明,这是一个关于大数据处理领域的技术方案,主要关注如何在Hadoop平台上优化MapReduce作业的调度。Hadoop是Apache...

    多MapReduce作业协同下的大数据挖掘类算法资源效率优化.pdf

    文章的标题和描述表明,本文主要关注在多MapReduce作业协同工作中,对于大数据挖掘算法资源效率进行优化的研究。MapReduce是一种编程模型,主要用于处理大规模数据集的并行运算,广泛应用于大数据处理领域。然而,在...

    Hadoop安装与配置详解:从环境准备到运行MapReduce作业

    Hadoop安装与配置详解:从环境准备到运行MapReduce作业

    18、MapReduce的计数器与通过MapReduce读取-写入数据库示例

    例如,“Total input files to process”表示处理的总输入文件数量,“number of splits”指示文件被分割成多少个块进行处理,“Running job”显示作业的状态等。 自定义计数器则是开发者根据实际需求创建的,用于...

    appengine-mapreduce, 在 App Engine上,运行MapReduce作业的库.zip

    appengine-mapreduce, 在 App Engine上,运行MapReduce作业的库 应用Mapreduce库 官方网站:https://github.com/GoogleCloudPlatform/appengine-mapreduce查看站点最新状态,最新版本,启动&用户指南和其他文档。...

    实验项目 MapReduce 编程

    此外,通过Shell命令如`mapred job -status id`,可以在运行过程中和结束后跟踪作业状态,这有利于理解MapReduce的执行流程。 实验的总结与思考部分,强调了实验的目标在于理解和掌握MapReduce编程思想,了解...

    拓思爱诺大数据-第二次作业MapReduce编程

    这不仅包括编写Java代码实现Mapper和Reducer类,还涉及Hadoop的命令行工具使用,如提交作业、监控作业状态等。 此外,你还会接触到Hadoop分布式文件系统(HDFS),它是MapReduce处理数据的基础。HDFS设计为高容错、...

    MapReduce平台优化详解.pdf

    MapReduce平台优化是Hadoop生态系统中的一种关键技术,旨在提高MapReduce作业的执行效率和性能。本文将从MapReduce优化的角度,深入剖析MapReduce平台的优化方法,涵盖Combiner、Partitioner、数据压缩等方面。 一...

    第一个Mapreduce程序.pdf

    本文主要介绍了如何使用Java编写MapReduce程序,并运行第一个MapReduce作业,包括遇到的问题和解决方案。 首先,环境搭建是使用Hadoop MapReduce的重要步骤。本文的环境基于CDH5(Cloudera's Distribution ...

    MapReduce 设计模式

    书中可能还会包含其他更高级的主题,如自定义输入/输出格式、MapReduce工作流以及如何优化MapReduce作业性能等。总的来说,《MapReduce设计模式》是一本实用的参考书,对于希望深入理解和利用MapReduce框架的IT专业...

    MapReduce作业运行流程

    基本概念 MapReduce采用了Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave运行TaskTracker ...3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、

    MapReduce的实现细节

    3. **客户端**:用户通过客户端提交作业,并监控作业的执行状态。 #### 五、MapReduce中的通信机制 在Hadoop MapReduce中,服务器间的通信主要依赖于远程过程调用(RPC)机制。具体来说: - 客户端通过RPC接口向...

Global site tag (gtag.js) - Google Analytics