- 浏览: 61313 次
- 性别:
- 来自: 北京
最新评论
-
scu_cxh:
您好,我在学习hadoop方面的东西,想做一个对task监控的 ...
JobClient应用概述 -
bennie19870116:
看不到图呢...
Eclipse下配置使用Hadoop插件
一、背景
早上由于误删namenode上的hadoop文件夹,在主节点上重新安装hadoop之后,发现有2个datanode无法启动,经过排查,解决了这个问题,记下。
二、现象及解决办法
1、2个节点的Tasktracker启动了,但datanode死活起不来。
2、使用sh hadoop-daemon.sh命令单独也无法启动。
3、错误信息如下:
2010-08-10 10:51:23,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
2008-07-23 22:04:06,697 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000, call register(DatanodeRegistration(s132:50010, storageID=DS-450792627-192.168.3.132-50010-1280748240648, infoPort=50075, ipcPort=50020)) from 192.168.3.132:33610: error: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.verifyNodeRegistration(FSNamesystem.java:3887)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2041)
at org.apache.hadoop.hdfs.server.namenode.NameNode.register(NameNode.java:687)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
4、查看配置文件,core-site.xml,发现多了一项配置:
dfs.hosts.exclude
excludes
5、上网找资料,发现这个作用是通知集群需要停掉的机器名称。
首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下,内容如下:
excludes:s132,s133
6、删掉,重启集群,OK。
三、总结
1、通过这个问题,衍生出了如何使datanode启动和停止。
2、有个问题没明白,这个配置想是什么时候加进去的。
3、可以参看http://coderplay.iteye.com/blog/290767这个内容。
发表评论
-
Hadoop的基准测试工具使用(部分转载)
2011-01-21 11:58 1611一、背景由于以前没有 ... -
分布式集群中的硬件选择
2011-01-21 11:58 1040一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作,主要 ... -
Map/Reduce的内存使用设置
2011-01-21 11:57 1651一、背景今天采用10台 ... -
Hadoop开发常用的InputFormat和OutputFormat(转)
2011-01-21 11:55 1489Hadoop中的Map Reduce框架依 ... -
SecondaryNamenode应用摘记
2010-11-04 15:54 1069一、环境 Hadoop 0.20.2、JDK 1.6、 ... -
Zookeeper分布式安装手册
2010-10-27 09:41 1333一、安装准备1、下载zookeeper-3.3.1,地址:ht ... -
Hadoop分布式安装
2010-10-27 09:41 1014一、安装准备1、下载hadoop 0.20.2,地址:http ... -
Map/Reduce使用杂记
2010-10-27 09:40 968一、硬件环境1、CPU:Intel(R) Core(TM)2 ... -
Hadoop中自定义计数器
2010-10-27 09:40 1538一、环境1、hadoop 0.20.22、操作系统Linux二 ... -
Map/Reduce中的Partiotioner使用
2010-10-27 09:39 919一、环境1、hadoop 0.20.22 ... -
Map/Reduce中的Combiner的使用
2010-10-27 09:38 1197一、作用1、combiner最基本是实现本地key的聚合,对m ... -
Hadoop中DBInputFormat和DBOutputFormat使用
2010-10-27 09:38 2443一、背景 为了方便MapReduce直接访问关系型数据 ... -
Hadoop的MultipleOutputFormat使用
2010-10-27 09:37 1700一、背景 Hadoop的MapReduce中多文件输出默 ... -
Map/Reduce中公平调度器配置
2010-10-27 09:37 1546一、背景一般来说,JOB ... -
Map/Reduce的GroupingComparator排序简述
2010-10-27 09:36 1349一、背景排序对于MR来说是个核心内容,如何做好排序十分的重要, ... -
Map/Reduce中分区和分组的问题
2010-10-27 09:35 1141一、为什么写分区和分组在排序中的作用是不一样的,今天早上看书, ... -
关于Map和Reduce最大的并发数设置
2010-10-27 09:34 1249一、环境1、hadoop 0.20.22、操作系统 Linux ... -
关于集群数据负载均衡
2010-10-27 09:33 898一、环境1、hadoop 0.20.22、操作系统 Linux ... -
Map/Reduce执行流程简述
2010-10-27 09:33 989一、背景最近总在弄MR的东西,所以写点关于这个方面的内容,总结 ... -
Hadoop集群中关于SSH认证权限的问题
2010-10-27 09:32 901今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一 ...
相关推荐
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
这一问题通常表现为,在尝试启动Hadoop集群时,Datanode无法正常启动,并且在访问NameNode的Web界面时发现缺少Datanode的相关信息。这种情况会严重影响Hadoop集群的可用性和数据处理能力。 #### 二、原因分析 根据...
问题描述:在hadoop安装目录/bin/hadoop中有一段shell代码导致Hadoop启动datanode时出现Unrecognized option: -jvm和Could not create the Java virtual machine错误。 解决方法: 1. 修改hadoop安装目录/bin/...
DataNode 的启动过程由 `secureMain` 方法实现,该方法首先解析命令行参数,然后创建 DataNode 实例并启动它。在 `secureMain` 方法中,会检查是否提供了帮助信息,如果提供了则直接退出程序,否则继续执行 DataNode...
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
Hadoop 2.0 双 Namenode 双 Datanode 部署 Hadoop 是一个开源的大数据处理框架,它提供了分布式文件系统(HDFS)和Map/Reduce 计算框架。 在这个部署中,我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 ...
4. 初始化新DataNode,执行格式化操作(如果之前未格式化过),并启动DataNode服务。 5. 更新NameNode上的`dfs.hosts`文件,包含新添加的DataNode信息,确保NameNode可以识别并管理新的节点。 通过以上步骤,新...
配置新节点时,要更新IP地址和主机名,清空原有HDFS数据和日志,然后启动DataNode和NodeManager服务。 **退役旧数据节点** 退役DataNode有两种方式:白名单和黑名单。在白名单策略中,只列出允许连接的节点,不在...
服务启动后,DataNode将开始在新的目录下读写数据。 8. **验证迁移效果**:再次切换到`hdfs`用户,执行`hdfs fsck /`命令检查HDFS数据的健康状态。如果一切正常,那么迁移过程顺利完成。 9. **监控与故障排查**:...
Namenode并不持久化存储数据块的位置信息,而是依赖Datanode在系统启动时报告其存储的块信息。当客户端需要访问文件时,Namenode会提供文件的块位置信息,客户端据此与相应的Datanode进行交互。 Datanodes是HDFS的...
同时,它还会启动一个ResponseProcessor线程,用于接收DataNode返回的确认信息(ACK)并处理可能出现的错误。这一过程不断循环,直到所有数据包发送完毕。 在写Block的过程中,客户端与DataNode之间的通信主要包括...
- `hadoop-daemons.sh start datanode`: 启动DataNode,它们是实际存储数据的节点。 - `hadoop-daemons.sh start secondarynamenode`: 启动Secondary NameNode,它负责周期性的NameNode元数据备份。 2. 接下来...
首先,创建新的服务器并配置好环境,接着启动DataNode服务,新节点将自动加入到HDFS集群。如果数据分布不均,可以使用`start-balancer.sh`命令进行集群的再平衡,以优化数据分布。 6.5 退役旧数据节点 退役旧...
启动 datanode 失败是 Hadoop 中的常见问题,主要是由于 NameNode 和 DataNode 的配置不正确。解决方法是删除 NameNode 和 DataNode 的文件系统路径,然后重新格式化分布式文件系统。 java.io.IOException: Could ...
通过分析这些日志,可以了解Hadoop集群的健康状况,诊断潜在的问题,比如检查NameNode是否成功启动,DataNode是否加入到集群,MapReduce任务是否正常执行等。 对于大型Hadoop集群,日志分析工具如Flume、Sentry、...
这通常包括配置Hadoop的基本文件系统设置、格式化NameNode、启动DataNode和NameNode、测试集群功能等步骤。 - 对于HDFS的配置,还需要设置与数据存储和管理相关的参数,例如配置副本数量、文件系统块大小等。 4. ...
1. 启动DataNode:DataNode是Hadoop分布式文件系统(HDFS)的存储节点,负责存储数据块。 2. 启动NameNode:NameNode是HDFS的主节点,管理文件系统的命名空间和数据块映射信息。 3. 启动ResourceManager:YARN(Yet ...
在Windows环境下启动Hadoop,通常会遇到依赖Cygwin的问题,因为Hadoop最初设计时主要考虑的是类Unix系统。然而,随着技术的发展,现在我们可以在Windows上直接运行Hadoop,无需Cygwin作为桥梁。本教程将详细介绍如何...
3. 登录到新节点,执行Hadoop-Daemon.sh start datanode命令,启动Datanode服务。 删除Datanode的步骤: 1. 从集群中移走节点,并对移走节点的数据进行备份。 2. 删除节点的Datanode服务。 二、 启动自动Balancer...