- 浏览: 87917 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (110)
- myeclipse JVM 虚拟机内存设置 (1)
- 查询含有clob字段表的sql语句 (1)
- 项目个人价值体现 (1)
- Java多线程并发编程 (1)
- spring (4)
- 启悟 (1)
- hadoop (27)
- mysql数据库乱码问题 (1)
- linux (6)
- 架构与设计 (1)
- java (6)
- mysql (2)
- 分页编程 (1)
- 励志 (2)
- 技术要求 (0)
- guava (1)
- 分布式开发(SOA) (4)
- 微服务架构 + API 网关 (5)
- 消息中间件 (4)
- Dubbo (8)
- 面谈 (0)
- 高并发架构 (1)
- maven (1)
- MongoDB (1)
- hbase (2)
最新评论
问题的描述; yarn 启动时,nodemanager 成功,但是resourcemanager失败.
查看日记的出错信息:
2015-10-11 21:50:20,201 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state STARTED; cause: org.apache
.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.
apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: ht
tp://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService.serviceStart(ResourceTrackerService.java:159)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:503)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:898)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:938)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:935)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:935)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:979)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1104)
Caused by: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
at org.apache.hadoop.ipc.Server.bind(Server.java:419)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:561)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2166)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)
分析了下,地址绑定失败,大概的意思是指8301的端口给占用了。
google下,说是Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。现在问题解决了。
查看日记的出错信息:
2015-10-11 21:50:20,201 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state STARTED; cause: org.apache
.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.
apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: ht
tp://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService.serviceStart(ResourceTrackerService.java:159)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:503)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:898)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:938)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:935)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:935)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:979)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1104)
Caused by: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
at org.apache.hadoop.ipc.Server.bind(Server.java:419)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:561)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2166)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)
分析了下,地址绑定失败,大概的意思是指8301的端口给占用了。
google下,说是Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。现在问题解决了。
发表评论
-
MapReduce程序开发(good)
2016-09-06 18:25 277http://blog.csdn.net/qq10108856 ... -
ZooKeeper典型应用场景一览
2016-07-08 16:17 412ZooKeeper典型应用场景一览 摘自:http://www ... -
Apache HBase 2015年发展回顾与未来展望
2016-02-05 10:00 431摘自: http://mp.weixin.qq.com/s? ... -
搜索技术博客-淘宝
2015-12-10 18:33 471搜索技术博客-淘宝: http://www.searcht ... -
大数据性能调优之HBase的RowKey设计
2015-11-12 13:47 383摘自;http://www.open-open.com ... -
HBase处理中文字符串
2015-11-12 13:44 721摘自:http://blog.csdn.net/piratel ... -
详细的讲解yarn和mapreduce的内存配置
2015-11-03 17:00 388摘自: http://docs.hortonworks.co ... -
Hadoop YARN常见问题以及解决方案 任务合理调度分配
2015-11-03 14:46 1160摘自: http://dongxicheng.org/map ... -
Windows下使用Hadoop2.6.0-eclipse-plugin插件
2015-10-29 15:43 371Windows下使用Hadoop2.6.0-eclipse-p ... -
HBase优化案例分析:Facebook Messages系统问题与解决方案
2015-10-21 18:58 447摘自:http://www.infoq.com/cn/arti ... -
HBase总结(十二)Java API 与HBase交互实例
2015-10-21 18:57 421import java.io.IOException; im ... -
NoSQL选型及HBase案例详解(hbase结合情景案例分析)
2015-10-21 18:55 519摘自:http://www.thebigdata.cn/Jie ... -
Hbase课程大纲学习路线
2015-10-21 18:49 1005Hbase课程大纲 学习内容: Hbase系统搭建与部署,Hb ... -
基于HBase的海量微博数据高效存储解析
2015-10-20 17:15 794通过分析HBase的特点, ... -
Hadoop 2.0+YARN启动脚本分析与实战经验
2015-10-16 23:38 597start-all.sh脚本现在已经废弃,推荐使用start- ... -
windows7+eclipse+hadoop2.5.2环境配置
2015-10-11 23:45 367http://www.dataguru.cn/thread-4 ... -
YARN ResourceManager调度器的分析
2015-10-11 23:39 350摘自:http://blogread.cn/it/articl ... -
Hadoop 新 MapReduce 框架 Yarn 详解
2015-10-11 23:08 526摘自:http://www.open-open.c ... -
hbase常识及habse适合什么场景
2015-09-18 14:15 378http://blog.csdn.net/lifuxiangc ... -
HBase案例设计分析
2015-09-18 14:03 434http://www.thebigdata.cn/JieJue ...
相关推荐
### Hadoop ResourceManager API详解 #### 一、ClusterInformationAPI - 集群信息API **功能概述:** ClusterInformationAPI用于获取集群的基本信息,包括版本号、构建时间等基本信息。这些信息有助于用户了解...
13. yarn.resourcemanager.nodemanager-connect-retries:此属性设置节点管理器连接失败时的最大重试次数,默认值为50。 14. yarn.resourcemanager.webapp.ui2.enable:此属性控制是否启用资源管理器Web应用的UI2...
YARN的运行过程可以简单概括为:客户端提交应用程序到ResourceManager,ResourceManager为应用程序启动ApplicationMaster,ApplicationMaster向ResourceManager申请资源,然后ResourceManager通知相应的NodeManager...
- **NodeManager的容错**:如果NodeManager失败,ResourceManager会将失败任务通知给对应的ApplicationMaster,由ApplicationMaster决定如何处理这些失败的任务。 - **ApplicationMaster的容错**:如果...
任务五是启动YARN集群,这通常涉及启动ResourceManager、NodeManager等服务。在主节点上执行启动命令,如`start-yarn.sh`。 任务六是启动历史服务,即JobHistory Server,命令可能为`mr-jobhistory-daemon.sh start...
3. **ApplicationMaster (AM)**:每个应用程序的主进程,在YARN上运行一个特定的应用程序时启动,负责与ResourceManager协商资源,并与NodeManager通信来执行和监控任务。 4. **Container**:由NodeManager启动的...
启动配置好的YARN HA集群,包括Active和Standby两个ResourceManager实例,以及其他YARN组件如NodeManager和服务。 **任务六:启动历史服务** 启动集群历史服务,如HistoryServer,以便记录和查询过去作业的历史...
Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是Hadoop的资源管理器,它是Hadoop 2.0引入的一个新的子项目,用于解决原有MapReduce模型中的扩展性差和资源利用率低等问题。YARN的主要目标是将...
当一个应用程序提交给YARN后,ResourceManager将为该应用程序启动一个ApplicationMaster实例,然后ApplicationMaster会向ResourceManager申请资源。一旦资源被分配给ApplicationMaster,它就会启动相应的任务容器...
- 在`yarn-site.xml`中设置`yarn.resourcemanager.address`、`yarn.resourcemanager.scheduler.address`等参数,确保ResourceManager能够正常工作。 - 在`hdfs-site.xml`中配置`dfs.namenode.name.dir`、`dfs....
在运行流程上,YARN遵循这样的流程:客户端提交作业到ResourceManager,ResourceManager启动ApplicationMaster,ApplicationMaster向ResourceManager申请资源,并通知NodeManager启动任务容器(Container),任务...
首先,YARN内存管理涉及到三个主要角色:ResourceManager(RM)、ApplicationMaster(AM)和NodeManager(NM)。 1. ResourceManager(RM):RM是全局资源调度器,负责决定应用程序的容器(Container)分配。`yarn....
通过理解 ResourceManager、NodeManager、ApplicationMaster 和 Containers 等核心组件的作用,以及如何通过客户端操作来构建和管理应用程序,可以有效地利用 YARN 来开发和运行复杂的大规模分布式应用程序。...
4. **启动Hadoop集群**:启动Hadoop的所有服务,包括NameNode、SecondaryNameNode、ResourceManager等,并在所有DataNode和NodeManager上确认它们已经启动。使用`jps`命令可以快速查看进程状态。 5. **提交Spark...
端口 作用 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 ...50100 dfs.namenode.backup.address ...8032 yarn.resourcemanager.address
YARN 组件的架构主要包括三个部分:ResourceManager、ApplicationMaster和NodeManager。 1. ResourceManager(资源管理器):负责管理和分配集群中的资源,包括 CPU、内存、磁盘等资源。ResourceManager 是 YARN ...
4. 执行任务:ResourceManager将资源分配给NodeManager,NodeManager启动Task进程。 5. 监控与心跳:ApplicationMaster与ResourceManager通过心跳机制保持通信,汇报状态,申请更多资源。 6. 应用完成:所有任务完成...
7. 各个任务通过 RPC 协议向 AM 汇报自己的状态和进度,以让 AM 随时掌握各个任务的运行状态,从而可以在任务失败时重启任务。 8. 应用程序运行完成后,AM 向 RM 注销并关闭自己。 YARN 调度机制 YARN 的调度机制...
YARN的客户端库中包含同步和异步的库,可供开发者在客户端与ResourceManager以及ApplicationMaster与NodeManager之间进行通信。客户端通过这些库与ResourceManager交互,提交应用程序,而ApplicationMaster则与...
当ResourceManager 与 NodeManager 通信失败时,ResourceManager 将在指定的时间间隔后尝试重新建立连接。在这个例子中,设置为 2000 毫秒,即 2 秒。 ##### 2. `yarn.resourcemanager.ha.enabled` - **描述**:...