`

yarn 启动时,nodemanager 成功,但是resourcemanager失败解决

 
阅读更多
问题的描述; yarn 启动时,nodemanager 成功,但是resourcemanager失败.



查看日记的出错信息:
2015-10-11 21:50:20,201 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state STARTED; cause: org.apache
.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.
apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  ht
tp://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService.serviceStart(ResourceTrackerService.java:159)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:503)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:898)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:938)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:935)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:935)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:979)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1104)
Caused by: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
at org.apache.hadoop.ipc.Server.bind(Server.java:419)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:561)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2166)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)




分析了下,地址绑定失败,大概的意思是指8301的端口给占用了。
google下,说是Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。现在问题解决了。

分享到:
评论

相关推荐

    Hadoop ResourceManager API

    ### Hadoop ResourceManager API详解 #### 一、ClusterInformationAPI - 集群信息API **功能概述:** ClusterInformationAPI用于获取集群的基本信息,包括版本号、构建时间等基本信息。这些信息有助于用户了解...

    YARN应用场景、原理与资源调度

    YARN的运行过程可以简单概括为:客户端提交应用程序到ResourceManager,ResourceManager为应用程序启动ApplicationMaster,ApplicationMaster向ResourceManager申请资源,然后ResourceManager通知相应的NodeManager...

    YARN应用场景、原理与资源调度v2.pdf

    - **NodeManager的容错**:如果NodeManager失败,ResourceManager会将失败任务通知给对应的ApplicationMaster,由ApplicationMaster决定如何处理这些失败的任务。 - **ApplicationMaster的容错**:如果...

    Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx

    任务五是启动YARN集群,这通常涉及启动ResourceManager、NodeManager等服务。在主节点上执行启动命令,如`start-yarn.sh`。 任务六是启动历史服务,即JobHistory Server,命令可能为`mr-jobhistory-daemon.sh start...

    yarn基本运作流程

    3. **ApplicationMaster (AM)**:每个应用程序的主进程,在YARN上运行一个特定的应用程序时启动,负责与ResourceManager协商资源,并与NodeManager通信来执行和监控任务。 4. **Container**:由NodeManager启动的...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    启动配置好的YARN HA集群,包括Active和Standby两个ResourceManager实例,以及其他YARN组件如NodeManager和服务。 **任务六:启动历史服务** 启动集群历史服务,如HistoryServer,以便记录和查询过去作业的历史...

    03-Yarn安装部署及资源队列使用.pdf

    Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是Hadoop的资源管理器,它是Hadoop 2.0引入的一个新的子项目,用于解决原有MapReduce模型中的扩展性差和资源利用率低等问题。YARN的主要目标是将...

    hadoop 2.9.0 yarn-default.xml 属性集

    13. yarn.resourcemanager.nodemanager-connect-retries:此属性设置节点管理器连接失败时的最大重试次数,默认值为50。 14. yarn.resourcemanager.webapp.ui2.enable:此属性控制是否启用资源管理器Web应用的UI2...

    Yarn 内存分配管理机制及相关参数配置.

    首先,YARN内存管理涉及到三个主要角色:ResourceManager(RM)、ApplicationMaster(AM)和NodeManager(NM)。 1. ResourceManager(RM):RM是全局资源调度器,负责决定应用程序的容器(Container)分配。`yarn....

    Hadoop的yarn详解

    当一个应用程序提交给YARN后,ResourceManager将为该应用程序启动一个ApplicationMaster实例,然后ApplicationMaster会向ResourceManager申请资源。一旦资源被分配给ApplicationMaster,它就会启动相应的任务容器...

    YARN相关配置总结

    - 在`yarn-site.xml`中设置`yarn.resourcemanager.address`、`yarn.resourcemanager.scheduler.address`等参数,确保ResourceManager能够正常工作。 - 在`hdfs-site.xml`中配置`dfs.namenode.name.dir`、`dfs....

    Hadoop YARN 基本架构和发展趋势

    在运行流程上,YARN遵循这样的流程:客户端提交作业到ResourceManager,ResourceManager启动ApplicationMaster,ApplicationMaster向ResourceManager申请资源,并通知NodeManager启动任务容器(Container),任务...

    YARN Application Development.

    通过理解 ResourceManager、NodeManager、ApplicationMaster 和 Containers 等核心组件的作用,以及如何通过客户端操作来构建和管理应用程序,可以有效地利用 YARN 来开发和运行复杂的大规模分布式应用程序。...

    Spark实验:On Yarn模式安装部署(带答案)1

    4. **启动Hadoop集群**:启动Hadoop的所有服务,包括NameNode、SecondaryNameNode、ResourceManager等,并在所有DataNode和NodeManager上确认它们已经启动。使用`jps`命令可以快速查看进程状态。 5. **提交Spark...

    Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表

    端口 作用 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 ...50100 dfs.namenode.backup.address ...8032 yarn.resourcemanager.address

    大数据平台yarn组件应用研究说明书.do

    YARN 组件的架构主要包括三个部分:ResourceManager、ApplicationMaster和NodeManager。 1. ResourceManager(资源管理器):负责管理和分配集群中的资源,包括 CPU、内存、磁盘等资源。ResourceManager 是 YARN ...

    Yarn资源调用demo案例

    4. 执行任务:ResourceManager将资源分配给NodeManager,NodeManager启动Task进程。 5. 监控与心跳:ApplicationMaster与ResourceManager通过心跳机制保持通信,汇报状态,申请更多资源。 6. 应用完成:所有任务完成...

    YARN 基础架构,工作机制,任务调度器

    7. 各个任务通过 RPC 协议向 AM 汇报自己的状态和进度,以让 AM 随时掌握各个任务的运行状态,从而可以在任务失败时重启任务。 8. 应用程序运行完成后,AM 向 RM 注销并关闭自己。 YARN 调度机制 YARN 的调度机制...

    董西成:Hadoop YARN程序设计与应用案例

    YARN的客户端库中包含同步和异步的库,可供开发者在客户端与ResourceManager以及ApplicationMaster与NodeManager之间进行通信。客户端通过这些库与ResourceManager交互,提交应用程序,而ApplicationMaster则与...

    HadoopHA高可用集群配置 yarn-site.xml master2

    当ResourceManager 与 NodeManager 通信失败时,ResourceManager 将在指定的时间间隔后尝试重新建立连接。在这个例子中,设置为 2000 毫秒,即 2 秒。 ##### 2. `yarn.resourcemanager.ha.enabled` - **描述**:...

Global site tag (gtag.js) - Google Analytics