-
hadoop2.2的配置。nodemanager启动不了0
nodemanager启动不了。
从日志上看。2013-11-26 13:45:54,671 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: NodeManager configured with 8 G physical memory allocated to containers, which is more than 80% of the total physical memory available (1.2 G). Thrashing might happen. 2013-11-26 13:45:54,681 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Initialized nodemanager for null: physical-memory=8192 virtual-memory=8192 virtual-cores=8 2013-11-26 13:45:54,853 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139) at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65) at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54) at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:268) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:199) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:339) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386) Caused by: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719) at org.apache.hadoop.ipc.Server.bind(Server.java:422) at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:534) at org.apache.hadoop.ipc.Server.<init>(Server.java:2203) at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505) at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480) at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742) at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169) at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:132) ... 9 more 2013-11-26 13:45:54,863 INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139) at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65) at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54) at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:268) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:199) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:339) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386) Caused by: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719) at org.apache.hadoop.ipc.Server.bind(Server.java:422) at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:534) at org.apache.hadoop.ipc.Server.<init>(Server.java:2203) at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505) at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480) at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742) at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169) at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:132) ... 9 more 2013-11-26 13:45:54,887 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NodeManager metrics system...
从日志上看，好像是说不能绑定master的8014端口。根据错误提示的http://wiki.apache.org/hadoop/BindException这个地址，去看，我的错误不符合该站点所描述的。2013年11月26日 13:51
添加评论
关注(0)1个答案 按时间排序 按投票排序
-
修改你的配置文件
datanode节点上面的配置文件，yarn-site.xml
里面的master 修改为master的真实IP地址，要不然识别不了2013年11月28日 16:45
相关推荐
1. **HA (High Availability)**：Hadoop 2.2 引入了NameNode HA，允许集群中有两个活动的NameNode，以实现NameNode故障切换，确保服务的不间断性。这通过增加JournalNode角色和共享编辑日志（QJM, Quorum Journal ...
3. **启动服务**：在Master节点上启动NameNode、ResourceManager等，Slave节点上启动DataNode和NodeManager。 4. **集群监控**：通过Master节点的Web界面监控集群状态，确保所有服务正常运行。 在安装过程中，可能...
首先，我们关注的标题是“hadoop2.2在window7 sp1 32位系统中运行所需要的文件”。这意味着我们要在32位Windows环境下搭建Hadoop 2.2环境。通常，在Windows上安装Hadoop会遇到一些挑战，因为官方主要支持Linux平台。...
《Hadoop2.2部署指南》 在当前的数字化时代，大数据处理已成为企业的重要需求，而Hadoop作为开源的大数据处理框架，因其高效、可扩展的特性，深受业界青睐。本指南将详细介绍如何在Red Hat Enterprise Linux Server...
通过运行一些简单的测试来检查Hadoop集群是否正确配置并能够正常工作，例如启动HDFS和MapReduce服务，然后尝试上传一些文件到HDFS，并执行一些简单的MapReduce任务。 #### 三、MapReduce开发 **3.1 Hadoop Eclipse...
本文将详细介绍如何在多台服务器上搭建 Hadoop 2.2 的完全分布式环境，包括必要的系统配置、组件安装以及服务启动等步骤。 #### 二、系统环境准备 1. **操作系统选择**：由于 Hadoop 支持多种操作系统平台，但考虑...
这部分将详细介绍如何在CentOS 7上安装Hadoop，包括下载和编译源码、配置环境变量、初始化HDFS、启动服务等步骤。此外，还会讲解Hadoop的安全机制如Hadoop Security（Kerberos认证）的配置，以及如何进行性能优化。 ...
4. **进入测试路径**：转到Hadoop的MapReduce库目录，通常是 `/usr/local/hadoop2.2/share/hadoop/mapreduce`，这是存放MapReduce示例jar文件的地方。 5. **运行WordCount程序**：使用`hadoop jar`命令运行...
4.2 启动Hadoop服务：依次启动DataNode、NameNode、NodeManager和ResourceManager。启动顺序很重要，确保服务间的依赖关系得到满足。 4.3 检查集群状态：通过访问Master节点的Web界面（如 http://master:50070 和 ...
接着在Datanode节点上启动Datanode和NodeManager：`hadoop-daemon.sh start datanode` 和 `yarn-daemon.sh start nodemanager`。 ### 7. Hadoop使用 #### 6.1 客户机与HDFS进行交互 要在客户端与HDFS交互，需要在...
在配置启动Hadoop的过程中，文章详细列出了一个基于Hadoop 1.1.X版本的集群规划。在这个配置中，包含了NameNode、DataNode、JobTracker、TaskTracker、HbaseMaster、ZooKeeper以及HbaseRegionServer等关键组件的节点...
### JDK的安装与Hadoop伪分布模式配置详解 #### 一、JDK的安装 Java Development Kit（简称JDK）是Sun Microsystems针对Java语言开发的一个软件开发工具包，同时也是运行Hadoop集群的基础环境之一。Hadoop是用Java...
在本节中，我们将详细介绍Hadoop配置文件中的关键配置项，以帮助读者更好地理解和应用Hadoop。 ##### 1. core-site.xml - `fs.defaultFS`：指定HDFS的默认命名节点地址。 - `hadoop.tmp.dir`：Hadoop临时文件存储...
完成配置和无密码SSH设置后，可以启动Hadoop集群的所有守护进程，包括NameNode、DataNode、ResourceManager、NodeManager等，并进行基本的测试来验证安装是否成功。 总结来说，单节点Hadoop安装主要涉及理解支持的...
完成上述配置后，需要格式化 HDFS 并启动 Hadoop 集群。 **4.1 格式化 HDFS** 使用以下命令格式化 HDFS： ```bash hdfs namenode -format ``` **4.2 启动集群** 使用以下命令启动 Hadoop 集群： ```bash sbin/...
NameNode：hadoop namenode -format启动 Hadoop 服务：start-dfs.shstart-yarn.sh检查服务状态：jps此时应该能看到 NameNode、DataNode、SecondaryNameNode、ResourceManager 和 NodeManager 进程。 三、Hbase 伪...
如果在安装过程中遇到找不到`/etc/hadoop`目录的问题，需要确保已经按照文档中的步骤创建了这个目录，并且所有配置文件都已放置在正确的路径下。 通过以上步骤，我们可以成功地从源码编译安装Hadoop，并且完成基本...