`
lvwenwen
  • 浏览: 955224 次
  • 性别: Icon_minigender_1
  • 来自: 魔都
社区版块
存档分类
最新评论

hadoop配置、运行错误总结

 
阅读更多
新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助。

一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下

Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=…

错误,原因是格式化namenode后会重新创建一个新的namespaceID,以至于和datanode上原有的不一致。

解决方法:

删除datanode dfs.data.dir目录(默认为tmp/dfs/data)下的数据文件
修改dfs.data.dir/current/VERSION 文件,把namespaceID修成与namenode上相同即可(log错误里会有提示)
重新指定新的dfs.data.dir目录
二、hadoop集群启动start-all.sh的时候,slave总是无法启动datanode,并会报错:

… could only be replicated to 0 nodes, instead of 1 …

就是有节点的标识可能重复(个人认为这个错误的原因)。也可能有其他原因,一下解决方法请依次尝试,我是解决了。
解决方法:

删除所有节点dfs.data.dir和dfs.tmp.dir目录(默认为tmp/dfs/data和tmp/dfs/tmp)下的数据文件;然后重新hadoop namenode -format 格式化节点;然后启动。
如果是端口访问的问题,你应该确保所用的端口都打开,比如hdfs://machine1:9000/、50030、50070之类的。执行#iptables -I INPUT -p tcp –dport 9000 -j ACCEPT 命令。如果还有报错:hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused;应该是datanode上的端口不能访问,到datanode上修改iptables:#iptables -I INPUT -s machine1 -p tcp -j ACCEPT
还有可能是防火墙的限制集群间的互相通信。尝试关闭防火墙。/etc/init.d/iptables stop
最后还有可能磁盘空间不够了,请查看 df -al
我在解决这个问题的时候还有人说:先后启动namenode、datanode可以解决这个问题(本人尝试发现没用,大家可以试试)$hadoop-daemon.sh start namenode ; $hadoop-daemon.sh start datanode
三、程序执行出现Error: java.lang.NullPointerException
空指针异常,确保java程序的正确。变量什么的使用前先实例化声明,不要有数组越界之类的现象。检查程序。

四、执行自己的程序的时候,(各种)报错,请确保一下情况:

前提都是你的程序是正确通过编译的
集群模式下,请把要处理的数据写到HDFS里,并且确保HDFS路径正确
指定执行的jar包的入口类名(我不知道为什么有时候不指定也是可以运行的)
正确的写法类似:

$ hadoop jar myCount.jar myCount input output

五、ssh无法正常通信的问题,这个问题我在搭建篇里有详细提到过。

六、程序编译问题,各种包没有的情况,请确保你把hadoop目录下 和hadoop/lib目录下的jar包都有引入。详细情况也是看搭建篇里的操作。

七、Hadoop启动datanode时出现Unrecognized option: -jvm 和 Could not create the Java virtual machine.
在hadoop安装目录/bin/hadoop中有如下一段shell:

View Code SHELL

1 2 3 4 5 6
CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'   if [[ $EUID -eq 0 ]]; then     HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"   else     HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"   fi
$EUID 这里的用户标识,如果是root的话,这个标识会是0,所以尽量不要使用root用户来操作hadoop就好了。这也是我在配置篇里提到不要使用root用户的原因。

八、如果出现终端的错误信息是:

ERROR hdfs.DFSClient: Exception closing file /user/hadoop/musicdata.txt : java.io.IOException: All datanodes 10.210.70.82:50010 are bad. Aborting…

还有jobtracker log的报错信息

Error register getProtocolVersion

java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion

和可能的一些警告信息:

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Broken pipe

WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_3136320110992216802_1063java.io.IOException: Connection reset by peer

WARN hdfs.DFSClient: Error Recovery for block blk_3136320110992216802_1063 bad datanode[0] 10.210.70.82:50010 put: All datanodes 10.210.70.82:50010 are bad. Aborting…

解决办法:

查看dfs.data.dir属性所指的路径是否磁盘已经满了,如果满了则进行处理后再次尝试hadoop fs -put数据。
如果相关磁盘没有满,则需要排查相关磁盘没有坏扇区,需要检测。
九、如果在执行hadoop的jar程序时得到报错信息:

java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.NullWritable, recieved org.apache.hadoop.io.LongWritable

或者类似:

Status : FAILED java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text

那么你需要学习hadoop数据类型和 map/reduce模型的基本知识。我的这篇读书笔记里边中间部分有介绍hadoop定义的数据类型和自定义数据类型的方法(主要是对writable类的学习和了解);和这篇里边说的MapReduce的类型和格式。也就是《hadoop权威指南》这本书的第四章Hadoop I/O和第七章MapReduce的类型和格式。如果你急于解决这个问题,我现在也可以告诉你迅速的解决之道,但这势必影响你以后开发:

确保一下数据的一致:

… extends Mapper…

public void map(k1 k, v1 v, OutputCollector output)…



…extends Reducer…

public void reduce(k2 k,v2 v,OutputCollector output)…



job.setMapOutputKeyClass(k2.class);

job.setMapOutputValueClass(k2.class);

job.setOutputKeyClass(k3.class);

job.setOutputValueClass(v3.class);



注意 k* 和 v*的对应。建议还是看我刚才说的两个章节。详细知道其原理。

十、如果碰到datanode报错如下:

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /data1/hadoop_data. The directory is already locked.

根据错误提示来看,是目录被锁住,无法读取。这时候你需要查看一下是否有相关进程还在运行或者slave机器的相关hadoop进程还在运行,结合linux这俩命令来进行查看:

netstat -nap

ps -aux | grep 相关PID

如果有hadoop相关的进程还在运行,就使用kill命令干掉即可。然后再重新使用start-all.sh。

十一、如果碰到jobtracker报错如下:

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

解决方式,修改datanode节点里/etc/hosts文件。

简单介绍下hosts格式:

每行分为三个部分:第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名

操作的详细步骤如下:

1、首先查看主机名称:

cat /proc/sys/kernel/hostname

会看到一个HOSTNAME的属性,把后边的值改成IP就OK,然后退出。

2、使用命令:

hostname ***.***.***.***

星号换成相应的IP。

3、修改hosts配置类似内容如下:

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

10.200.187.77 10.200.187.77 hadoop-datanode

如果配置后出现IP地址就表示修改成功了,如果还是显示主机名就有问题了,继续修改这个hosts文件,

如下图:



上图提醒下,chenyi是主机名。



当在测试环境里,自己再去部署一个域名服务器(个人觉得很繁琐),所以简单地方式,就直接用IP地址比较方便。如果有了域名服务器的话,那就直接进行映射配置即可。

如果还是出现洗牌出错这个问题,那么就试试别的网友说的修改配置文件里的hdfs-site.xml文件,添加以下内容:

dfs.http.address

*.*.*.*:50070 端口不要改,星号换成IP,因为hadoop信息传输都是通过HTTP,这个端口是不变的。

十一、如果碰到jobtracker报错如下:

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code *

这是java抛出的系统返回的错误码,错误码表示的意思详细的请看这里。

我这里是些streaming的php程序时遇到的,遇到的错误码是code 2: No such file or directory。即找不到文件或者目录。发现命令竟然忘记使用’php ****’ 很坑,另外网上看到也可能是include、require等命令造成。详细的请根据自身情况和错误码修改。
分享到:
评论

相关推荐

    hadoop配置运行错误

    hadoop是一个大数据处理的基础架构,但是在实际使用过程中经常会碰到各种各样的问题,以下是解决hadoop配置运行错误的一些经验总结: 一、hadoop集群在namenode格式化后重启集群会出现Incompatible namespaceIDS...

    hadoop hive入门学习总结

    如果在查询时遇到“FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))”,这通常是由于Hadoop配置问题导致的。解决方法如下: ...

    Hadoop学习总结和源码分析

    “Hadoop学习总结之五:Hadoop的运行痕迹.doc”可能涉及监控和日志记录,这是理解Hadoop系统运行状态和问题排查的重要手段。通过监控Hadoop集群的性能指标,如CPU利用率、内存使用情况、磁盘I/O等,可以优化系统配置...

    配置Eclipse连接Hadoop

    - 配置其他相关环境变量,如`HADOOP_CONF_DIR`,指向Hadoop配置文件的目录。 2. **配置Eclipse插件**: - 安装Hadoop相关的Eclipse插件,如"Hadoop Eclipse Plugin"或"Big Data Tools",它们提供了与Hadoop集群...

    hadoop-window环境配置.txt

    ### Hadoop在Windows环境下的配置知识点详解 #### 一、Hadoop简介 Hadoop是一个能够对大量数据进行分布式处理的软件框架,它为用户提供了高可靠性、高效性、可扩展性的数据处理能力。Hadoop的核心组件包括HDFS...

    Hadoop安装教程_单机_伪分布式配置

    1. **权限问题**:确保所有的Hadoop配置文件和服务都是以hadoop用户身份运行的。 2. **网络问题**:检查网络配置是否正确,确保主机名解析正常。 3. **日志错误**:查阅Hadoop的日志文件,通常位于`$HADOOP_HOME/...

    Hadoop配置

    ### Hadoop配置详解 #### 一、环境搭建与配置前准备 **1.1 安装环境** - **操作系统:** Ubuntu 14.04.3 LTS - **Hadoop 版本:** hadoop-2.5.2 或 hadoop-2.6.0 或更高版本 - **Java 版本:** Oracle JDK 7u80 **...

    Hadoop的安装部署与配置实验 共11页.pdf

    下面是 Hadoop 的安装部署与配置实验总结。 一、实验环境准备 在进行 Hadoop 安装部署与配置实验之前,需要准备好实验环境。这里使用 VMware 和 Ubuntu 12.04 LTS 64bit 作为虚拟机的操作系统。首先,需要安装 JDK...

    hadoop安装配置步骤

    完成上述准备工作后,接下来需要配置操作系统环境变量以支持Hadoop运行: 1. **添加HADOOP_HOME**:在环境变量中添加HADOOP_HOME,其值为Hadoop安装目录的绝对路径。 2. **更新PATH环境变量**:将Hadoop的`bin`和`...

    win7下eclipse配置hadoop的插件

    总结来说,配置Eclipse开发Hadoop项目涉及到下载和安装插件、配置环境变量、引入Hadoop库以及在Eclipse中设置Hadoop路径。通过这些步骤,开发者可以在Windows 7上的Eclipse环境中高效地编写和测试Hadoop MapReduce...

    hadoop3.0.0安装和配置

    - 进入Hadoop配置目录`$HADOOP_HOME/etc/hadoop`。 - 编辑以下核心配置文件: - `hadoop-env.sh`:设置Java路径和其他环境变量。 - `core-site.xml`:配置Hadoop的基本属性,如默认FS(文件系统)。 - `hdfs-...

    hadoop-1.2.1-安装配置手册(含安装介质)

    本文详细介绍了Hadoop 1.2.1的安装与配置流程,包括环境准备、SSH配置、JDK安装、Hadoop配置文件设置、Hadoop格式化及启动等步骤。通过本手册的指引,您可以顺利完成Hadoop集群的搭建,并掌握基本的故障排查方法。...

    hadoop-3.1.1 bin目录文件-含hadoop.dll、winutils

    在IT行业中,Hadoop是一个...确保它们正确配置并可被系统找到,可以避免许多与环境配置相关的错误,使得开发者能够专注于Hadoop应用的编写和测试。了解和掌握这些基础知识,对于在Windows上高效地使用Hadoop至关重要。

    【IT十八掌徐培成】Hadoop第04天-05.win7下hadoop运行需要dll和exe文件的支持.zip

    5. **配置文件**:在Windows上启动Hadoop,需要修改Hadoop配置文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置正确的路径、端口和参数,以适应Windows环境。 6. **环境变量**:确保设置正确的...

    Hadoop配置手记

    总结起来,配置Hadoop集群是一个涉及网络配置、SSH无密码登录、环境变量设置、Hadoop配置文件修改以及服务启动的复杂过程。正确配置这些参数是保证Hadoop集群高效稳定运行的基础。随着Hadoop版本的更新,这些配置...

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    2. **配置Hadoop环境**:在Eclipse中,需要配置Hadoop的运行环境,包括Hadoop的安装路径、HDFS地址等信息。 3. **创建Hadoop项目**:在Eclipse的“文件”菜单中选择“新建” -> “其他”,在弹出的对话框中找到...

    Eclipse中编译运行Hadoop-0.20.1源码

    总结一下,编译和运行Hadoop-0.20.1源码需要准备合适的开发环境,正确导入源代码到Eclipse项目,启动Hadoop集群,最后编译和运行源代码。通过这种方式,开发者可以深入理解Hadoop的工作流程,调试代码,以及进行定制...

    hadoop2.8.0 eclipse jb51

    总结来说,"hadoop2.8.0 eclipse jb51"的主题涉及到使用Eclipse集成Hadoop 2.8.0版本进行开发,其中jb51可能是特定的插件或集成方法。这样的集成允许开发者在熟悉的IDE环境中处理大数据问题,提高开发效率,并利用...

    hadoop.dll,winutils.exe hadoop2.6

    在Hadoop中,这可能涉及到Hadoop配置、环境变量或依赖库的缺失。在这种情况下,添加`HADOOP_HOME`环境变量是解决问题的关键步骤之一。`HADOOP_HOME`应该指向你的Hadoop安装目录,这样Hadoop相关程序才能找到它们所需...

    运行hadoop jar

    标题 "运行hadoop jar" 涉及到的是在...总结来说,"运行hadoop jar"是一个关键步骤,它涵盖了从编写Java代码到在Hadoop集群上执行分布式计算的完整流程。理解并熟练掌握这一过程对于开发和维护Hadoop应用至关重要。

Global site tag (gtag.js) - Google Analytics