`
dajuezhao
  • 浏览: 60855 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

无法启动Datanode的问题

阅读更多

一、背景

早上由于误删namenode上的hadoop文件夹,在主节点上重新安装hadoop之后,发现有2个datanode无法启动,经过排查,解决了这个问题,记下。

二、现象及解决办法

1、2个节点的Tasktracker启动了,但datanode死活起不来。

2、使用sh hadoop-daemon.sh命令单独也无法启动。

3、错误信息如下:
2010-08-10 10:51:23,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
2008-07-23 22:04:06,697 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000, call register(DatanodeRegistration(s132:50010, storageID=DS-450792627-192.168.3.132-50010-1280748240648, infoPort=50075, ipcPort=50020)) from 192.168.3.132:33610: error: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.verifyNodeRegistration(FSNamesystem.java:3887)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2041)
at org.apache.hadoop.hdfs.server.namenode.NameNode.register(NameNode.java:687)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

4、查看配置文件,core-site.xml,发现多了一项配置:

dfs.hosts.exclude
excludes

5、上网找资料,发现这个作用是通知集群需要停掉的机器名称。

首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下,内容如下:

excludes:s132,s133

6、删掉,重启集群,OK。

三、总结

1、通过这个问题,衍生出了如何使datanode启动和停止。

2、有个问题没明白,这个配置想是什么时候加进去的。

3、可以参看http://coderplay.iteye.com/blog/290767这个内容。

分享到:
评论

相关推荐

    Hadoop datanode重新加载失败无法启动解决.docx

    Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    这一问题通常表现为,在尝试启动Hadoop集群时,Datanode无法正常启动,并且在访问NameNode的Web界面时发现缺少Datanode的相关信息。这种情况会严重影响Hadoop集群的可用性和数据处理能力。 #### 二、原因分析 根据...

    hadoop配置运行错误

    问题描述:在hadoop安装目录/bin/hadoop中有一段shell代码导致Hadoop启动datanode时出现Unrecognized option: -jvm和Could not create the Java virtual machine错误。 解决方法: 1. 修改hadoop安装目录/bin/...

    hadoop 源码解析-DataNode

    DataNode 的启动过程由 `secureMain` 方法实现,该方法首先解析命令行参数,然后创建 DataNode 实例并启动它。在 `secureMain` 方法中,会检查是否提供了帮助信息,如果提供了则直接退出程序,否则继续执行 DataNode...

    启动Hadoop后 没有DataNode进程 的解决方法

    启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!

    hadoop2.0 2个namenode 2个datanode 部署

    Hadoop 2.0 双 Namenode 双 Datanode 部署 Hadoop 是一个开源的大数据处理框架,它提供了分布式文件系统(HDFS)和Map/Reduce 计算框架。 在这个部署中,我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 ...

    12_尚硅谷大数据之HDFS_DataNode1

    4. 初始化新DataNode,执行格式化操作(如果之前未格式化过),并启动DataNode服务。 5. 更新NameNode上的`dfs.hosts`文件,包含新添加的DataNode信息,确保NameNode可以识别并管理新的节点。 通过以上步骤,新...

    【HDFS篇10】DataNode相关概念1

    配置新节点时,要更新IP地址和主机名,清空原有HDFS数据和日志,然后启动DataNode和NodeManager服务。 **退役旧数据节点** 退役DataNode有两种方式:白名单和黑名单。在白名单策略中,只列出允许连接的节点,不在...

    Ambari修改DataNode存储目录

    服务启动后,DataNode将开始在新的目录下读写数据。 8. **验证迁移效果**:再次切换到`hdfs`用户,执行`hdfs fsck /`命令检查HDFS数据的健康状态。如果一切正常,那么迁移过程顺利完成。 9. **监控与故障排查**:...

    HDFS的概念-namenode和datanode.pdf

    Namenode并不持久化存储数据块的位置信息,而是依赖Datanode在系统启动时报告其存储的块信息。当客户端需要访问文件时,Namenode会提供文件的块位置信息,客户端据此与相应的Datanode进行交互。 Datanodes是HDFS的...

    Hadoop使用常见问题以及解决方法

    启动 datanode 失败是 Hadoop 中的常见问题,主要是由于 NameNode 和 DataNode 的配置不正确。解决方法是删除 NameNode 和 DataNode 的文件系统路径,然后重新格式化分布式文件系统。 java.io.IOException: Could ...

    hadoop client与datanode的通信协议分析

    同时,它还会启动一个ResponseProcessor线程,用于接收DataNode返回的确认信息(ACK)并处理可能出现的错误。这一过程不断循环,直到所有数据包发送完毕。 在写Block的过程中,客户端与DataNode之间的通信主要包括...

    【大数据】Hadoop常用启动命令.pdf

    - `hadoop-daemons.sh start datanode`: 启动DataNode,它们是实际存储数据的节点。 - `hadoop-daemons.sh start secondarynamenode`: 启动Secondary NameNode,它负责周期性的NameNode元数据备份。 2. 接下来...

    快速学习-DataNode

    首先,创建新的服务器并配置好环境,接着启动DataNode服务,新节点将自动加入到HDFS集群。如果数据分布不均,可以使用`start-balancer.sh`命令进行集群的再平衡,以优化数据分布。 6.5 退役旧数据节点 退役旧...

    hadoop启动日志

    通过分析这些日志,可以了解Hadoop集群的健康状况,诊断潜在的问题,比如检查NameNode是否成功启动,DataNode是否加入到集群,MapReduce任务是否正常执行等。 对于大型Hadoop集群,日志分析工具如Flume、Sentry、...

    四结点hdfs搭建

    这通常包括配置Hadoop的基本文件系统设置、格式化NameNode、启动DataNode和NameNode、测试集群功能等步骤。 - 对于HDFS的配置,还需要设置与数据存储和管理相关的参数,例如配置副本数量、文件系统块大小等。 4. ...

    hbase启动说明和python脚本

    1. 启动DataNode:DataNode是Hadoop分布式文件系统(HDFS)的存储节点,负责存储数据块。 2. 启动NameNode:NameNode是HDFS的主节点,管理文件系统的命名空间和数据块映射信息。 3. 启动ResourceManager:YARN(Yet ...

    Hadoop windows启动文件

    在Windows环境下启动Hadoop,通常会遇到依赖Cygwin的问题,因为Hadoop最初设计时主要考虑的是类Unix系统。然而,随着技术的发展,现在我们可以在Windows上直接运行Hadoop,无需Cygwin作为桥梁。本教程将详细介绍如何...

    hadoop和hive调优个人总结

    3. 登录到新节点,执行Hadoop-Daemon.sh start datanode命令,启动Datanode服务。 删除Datanode的步骤: 1. 从集群中移走节点,并对移走节点的数据进行备份。 2. 删除节点的Datanode服务。 二、 启动自动Balancer...

Global site tag (gtag.js) - Google Analytics