`
sealbird
  • 浏览: 586698 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hadoop中常出现的错误以及解决方法zz

 
阅读更多
引用
2009-11-18 15:421:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer:
程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。
修改办法:
修改2个文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上:
* soft nofile 102400
* hard nofile 409600

$cd /etc/pam.d/
$sudo vi login
添加 session    required     /lib/security/pam_limits.so

假如修改过还有这个问题,并且查看 master 和 slave log发现有 secondarynamenode http:0.0.0.0:50070 ... 错误 。说明还是配置有问题。

要在 hadoop-site里面设定 dfs.secondary.http.address
${master}:50090

2:Too many fetch-failures
Answer:
出现这个问题主要是结点间的连通不够全面。
1) 检查 、/etc/hosts
要求本机ip 对应 服务器名
要求要包含所有的服务器ip + 服务器名
2) 检查 .ssh/authorized_keys
要求包含所有服务器(包括其自身)的public key

PS:假如采用 /etc/hosts 主要问题出在它。


3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%
Answer:
结合第二点,然后
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000

4:能够启动datanode,但无法访问,也无法结束的错误
在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上 删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系 统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。
注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!

5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
出现这种情况大多是结点断了,没有连接上。

6:java.lang.OutOfMemoryError: Java heap space
出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。(其实对于最好设置为真实物理内存大小的0.8)
7:出现map%,但是呢reduce到98%左右的时候呢,就直接进failedjobs了
解决办法:
检查mapred.map.tasks是不是设置的太多了,设置太多的话会导致处理大量的小文件
检查mapred.reduce.parallel.copies是否设置合适。

8 : Wrong FS error: hdfs://aaa.local/tmp/hadoop_root/... expect hdfs://aaa/tmp/hadoop_root

错误 主要还是 /etc/hosts设定的问题。



http://www.javaeye.com/topic/517026
分享到:
评论

相关推荐

    Hadoop使用常见问题以及解决方法.doc

    Hadoop使用常见问题以及解决方法.doc Hadoop使用常见问题以及解决方法.doc

    hadoop集群遇到的问题及其解决方法

    在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析:** 1. **主机名解析问题:** 主要是由于/etc/hosts文件中的配置不正确或存在冲突导致的,特别是当...

    Hadoop使用常见问题以及解决方法

    "Hadoop 使用常见问题以及解决方法" Hadoop 作为一个大数据处理的开源框架,广泛应用于数据存储、处理和分析等领域。但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle ...

    hadoop常见问题及解决方法

    hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具,但是在安装和使用Hadoop时,可能会出现一些常见的问题,这些问题可能会导致Hadoop无法正常工作,或者无法达到预期的性能。下面是Hadoop常见的问题及解决...

    hadoop出错解决方法

    但是在使用 Hadoop 过程中,我们经常会遇到一些错误和问题,本文将为您提供一些常见的 Hadoop 故障解决方法。 一、Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这个错误是由于系统默认的打开...

    hadoop配置运行错误

    hadoop是一个大数据处理的基础架构,但是在实际使用过程中经常会碰到各种各样的问题,以下是解决hadoop配置运行错误的一些经验总结: 一、hadoop集群在namenode格式化后重启集群会出现Incompatible namespaceIDS...

    上传文件到Hadoop失败的原因分析及解决方法.pdf

    本文主要讨论了在 Java Web 程序中上传文件到 Hadoop HDFS 文件系统中失败的原因分析及解决方法。通过对问题的分析和解决,可以总结出以下知识点: 1. Hadoop 文件上传失败的原因分析: 在上传文件到 Hadoop HDFS ...

    Hadoop HA 搭建(附问题解决方法)

    资源中具体对Hadoop HA平台搭建过程中出现的问题给出了相应的解决办法,图文结合,适合新手学习来用,如果遇到其他,欢迎交流学习

    Logstash6整合Hadoop-报错与解决方案.docx

    在大数据处理中,Logstash 和 Hadoop 是经常被使用的组件,但是它们之间的整合可能会出现一些报错,例如 Failed to connect to host 192.168.0.80:50070,No route to host 等。这篇文章将详细介绍 Logstash6 整合 ...

    启动Hadoop后 没有DataNode进程 的解决方法

    启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!

    Hadoop高级编程- 构建与实现大数据解决方案

    7. **错误处理和容错机制**:理解Hadoop的检查点、故障检测和恢复策略,以及如何在代码中处理可能出现的异常情况。 8. **性能优化**:学习如何通过调整各种参数,如Split大小、Mapper和Reducer的数量,以及数据本地...

    hadoop常见问题及解决办法

    Hadoop常见问题及解决办法汇总 Hadoop是一个基于Apache的开源大数据处理框架,广泛应用于大数据处理、数据分析和机器学习等领域。然而,在使用Hadoop时,经常会遇到一些常见的问题,这些问题可能会导致Hadoop集群...

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    hadoop winutils hadoop.dll

    解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及检查相关目录的权限设置。 总之,对于Windows上的Hadoop开发,理解和配置winutils.exe及hadoop.dll至关重要。...

    Hadoop SSH免密码登录以及失败解决方案

    在Hadoop集群管理中,SSH(Secure Shell)是一种常用的安全协议,用于在不同节点之间进行远程命令执行和文件传输。为了简化操作,管理员通常会配置SSH免密码登录,这样在不同节点间切换时无需反复输入密码。本文将...

    hadoop/bin/hadoop.dll

    描述中提到的“在安装Hadoop环境时会缺少该文件”,这可能是因为用户下载的Hadoop发行版不完整,或者在安装过程中出现了错误。解决这个问题通常需要重新下载或获取正确的Hadoop发行版,确保所有必需的文件都包含在内...

    hadoop中文乱码问题

    【Hadoop中文乱码问题详解】 ...总之,理解和掌握Hadoop的字符编码机制,以及如何在不同阶段适配正确的编码,是解决中文乱码问题的关键。通过本文的讲解,希望能帮助你有效解决Hadoop处理中文数据时遇到的乱码难题。

    各个版本Hadoop,hadoop.dll以及winutils.exe文件下载大合集

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它是由Apache软件基金会开发并维护的,旨在实现高效、可扩展的数据处理能力。Hadoop的核心由两个主要组件构成:Hadoop Distributed ...

    hadoop hbase 错误日志级解决

    1,SLF4J: Class path contains multiple SLF4J bindings. 2,localhost: java.net.BindException: Address already in use 3,ERROR: org.apache.hadoop....这是我亲自遇到过的错误及解决过程,希望对大家能有帮助!

Global site tag (gtag.js) - Google Analytics