`

hadoop常见错误及处理方法

阅读更多
1、hadoop-root-datanode-master.log 中有如下错误: 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 
导致datanode启动不了。 

原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录. 
格式化hdfs的命令 
Shell代码   收藏代码
  1. hadoop namenode -format  


2、如果datanode连接不上namenode,导致datanode无法启动。 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host 
关闭防火墙
Shell代码   收藏代码
  1. service iptables stop  

机器重启后,防火墙还会开启。 


3、从本地往hdfs文件系统上传文件,出现如下错误: 
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023 

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block. 

解决方法: 
关闭防火墙: 
Shell代码   收藏代码
  1. service iptables stop  

禁用selinux: 
编辑 /etc/selinux/config文件,设置“SELINUX=disabled” 

4、安全模式导致的错误 
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode 
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。 

Java代码   收藏代码
  1. hadoop dfsadmin -safemode leave  
  关闭安全模式 

5、以本地模式运行hadoop时,抛异常 
ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: hadoop: hadoop: Name or service not known 
Exception in thread "main" java.net.UnknownHostException: hadoop: hadoop: Name or service not known 

把/etc/hostname文件中的主机名加入到/etc/hosts文件中,问题解决。 

6、格式化hdfs文件系统时,出错: 
Format aborted in /home/hadoop/dfs/name 

/home/hadoop/dfs/name 是 dfs.name.dir 配置的本地路径,把这个目录删除, 
再格式化就可以了。 

7、datanode无法启动,datanode的日志中有error: 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid 

发现日志前一行有warn:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permissi    on for /home/hadoop/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x 

按照日志修改了目录的访问权限,问题解决。 
分享到:
评论

相关推荐

    hadoop常见问题及解决方法

    hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具,但是在安装和使用Hadoop时,可能会出现一些常见的问题,这些问题可能会导致Hadoop无法正常工作,或者无法达到预期的性能。下面是Hadoop常见的问题及解决...

    hadoop常见问题及解决办法

    Hadoop常见问题及解决办法汇总 Hadoop是一个基于Apache的开源大数据处理框架,广泛应用于大数据处理、数据分析和机器学习等领域。然而,在使用Hadoop时,经常会遇到一些常见的问题,这些问题可能会导致Hadoop集群...

    hadoop常见错误以及处理方法详解

    本篇文章是对hadoop常见错误以及处理方法进行了详细的分析介绍,需要的朋友参考下

    大数据技术之-03-Hadoop学习-Hadoop运行模式及常见错误及解决方案.docx

    大数据技术之 Hadoop 运行模式及常见错误及解决方案 Hadoop 运行模式是大数据技术中的一个重要概念,它决定了 Hadoop 集群的运行方式和性能。在本文中,我们将详细介绍 Hadoop 的三种运行模式:本地运行模式、伪...

    hadoop出错解决方法

    但是在使用 Hadoop 过程中,我们经常会遇到一些错误和问题,本文将为您提供一些常见的 Hadoop 故障解决方法。 一、Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这个错误是由于系统默认的打开...

    (完整版)hadoop常见笔试题答案.docx

    这个文档包含了Hadoop相关的常见笔试题答案,涵盖了Hadoop的基本概念、架构组件、配置文件以及操作命令等多个方面。 1. Hadoop的核心组成部分是HDFS(Hadoop Distributed File System),它是一个分布式文件系统,...

    hadoop集群遇到的问题及其解决方法

    ### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...

    Hadoop集群的配置及常见问题总结

    NULL 博文链接:https://shirley-ren.iteye.com/blog/1174622

    hadoop winutils hadoop.dll

    在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题或版本不兼容等。解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及...

    Hadoop 快速入门及常见问题

    这个"Hadoop 快速入门及常见问题"的资料集合可能是为了帮助初学者理解和应用Hadoop系统。 首先,Hadoop的核心组件包括Hadoop Distributed File System (HDFS)和MapReduce。HDFS是分布式文件系统,它可以将大数据...

    hadoop的dll文件 hadoop.zip

    安装或使用Hadoop的dll文件时,可能会遇到一些常见问题,如版本不兼容、路径配置错误或缺失依赖。解决这些问题通常需要检查以下几点: 1. 确保dll文件与Hadoop版本兼容。 2. 检查Java环境是否正确配置,包括JDK版本...

    Hadoop常见的45个面试题

    作为一个专业的IT大师,我很高兴为你解析Hadoop常见的45个面试题中的关键知识点。由于文件名仅给出面试题的文档,我们无法直接引用具体问题,但我们可以从Hadoop的核心组件、工作原理、应用案例等方面展开讨论,这些...

    hadoop 参考资料

    2. **Hadoop常见错误及解决办法汇总.docx**:这份文档很可能是针对Hadoop在实际操作中遇到的问题和解决方案的集合。通过阅读,用户可以了解常见的错误类型,如NameNode和DataNode的故障、MapReduce作业的错误等,...

    Hadoop集群搭建(全)

    常见错误总结: * Namenode未启动 * Datanode未启动 * JobTracker未启动 * TaskTracker未启动 * 数据存储错误 * 任务执行错误 解决方法: * Namenode未启动:检查 Namenode 配置文件,检查 Namenode 进程状态 * ...

    win 7 64上编译 Hadoop 2.7.3 源码

    本文将详细介绍如何在Win 7 64位操作系统上编译Hadoop 2.7.3的源码,并分享在这个过程中遇到的一些常见问题及解决方法。 #### 二、准备工作 为了能够在Win 7 64位系统上成功编译Hadoop 2.7.3,首先需要进行一系列的...

    hadoop-common-2.2.0-bin

    问题" 暗示了在Eclipse环境中配置和运行Hadoop项目时遇到的常见错误。这个错误通常是因为Eclipse找不到Hadoop的可执行文件,这可能是由于环境变量配置不正确或者Hadoop安装路径没有正确设置。要解决这个问题,开发者...

    hadoop安装配置文档.pdf

    六、常见问题及解决方法 在Hadoop安装配置过程中,可能会遇到各种问题,如安装失败、配置错误或集群启动不了等。文档需要提供这些常见问题的解决方法,帮助用户快速定位和解决问题。 以上内容是根据所提供文件的...

    hadoop运行wordcount实例

    在配置Hadoop的过程中,可能会遇到以下常见问题及其解决方法: 1. **Java环境问题**: - 错误提示:“java: no such file or directory”。 - 解决方案:确保已经正确安装 Java 环境并且 PATH 环境变量设置正确。...

Global site tag (gtag.js) - Google Analytics