`
qindongliang1922
  • 浏览: 2188694 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117664
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126072
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60032
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71401
社区版块
存档分类
最新评论

记一次hadoop磁盘空间满的异常

阅读更多
本事故,发生在测试的环境上,虽然不是线上的环境,但也是一次比较有价值的事故。


起因:公司里有hadoop的集群,用来跑建索引,PHP使用人员,调用建索引的程序时,发现MapReduce集群启动不起来了,报IOException异常,具体的异常没有记录,大致的意思就是磁盘空间满了,导致创建文件失败!


下面散仙模拟当时的环境,接到问题后,第一件事就是先查看centos系统的磁盘使用率
执行命令 df -h ,查看当前占用情况:

Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                       11G  8.7G  1.3G  100% /
tmpfs                 1.9G     0  1.9G   0% /dev/shm
/dev/sda1             485M   37M  423M   8% /boot

发现磁盘使用100%,导致空间不足,从而使Hadoop启动作业时的,需要建立临时的文件的空间都没有,故出现了,文章开头的一幕。

找到原因后,就好办了,查看当前系统下文件占用情况,删除几个比占空间比较大而且无关紧要的文件,当然我们这是在测试的环境上,一般线上挂载的磁盘都比较大,出现这样的异常情况,应该非常小。

执行命令: ll -h 查看某些文件目录的大小
这个命令散仙测,某些时候,不太好使,故使用下面命令
du -sh * 查看空间文件占用情况:

[search@bjdevfse02 ~]$ du -sh *
4.0K    beginzk.sh
4.0K    clearhadoop.sh
0       hadoop
95M     hadoop-1.2.1
214M    hadoop-2.2.0
152K    hadoopconf
345M    hadoop-dd
4.0K    script
0       solr
188M    solr-4.3.0
52M     solr-4.3.1
704K    solrconf
4.0K    stopzk.sh
4.0K    synconf.sh
36K     tmp
0       zk
8.0K    zkconf
39M     zkdata
40M     zookeeper-3.4.5
4.0K    zookeeper.out

删除几个文件后,磁盘率达到一个启动MR作业的要求,然后再次运行MR作业时,发现又报异常,看log发现,Hadoop由于磁盘满,而导致进入安全模式,所以导致提交失败,异常如下:


知道原因后,执行如下命令,退出安全模式
hadoop dfsadmin -safemode leave


再次提交MR作业后,正常运行!



总结:
1,遇到问题时,第一反应,尽可能的先把原始信息,异常什么的保留下来,便于分析,有的可能没有log记录,或者log比较大查找不方便,用手机拍照,或粘贴复制什么的。

2,根据异常信息,尽可能直接准确异常的原因,如果实在定位不到,可能还需要分析最近几天系统里发生的变化,然后一个个定位,排除。

3,解决成功后,尽可能记录下来,发生的原因是什么,然后排除的方法,等等一些心得体会,最后,分享给团队或同事,避免以后发生此种类似的事,或者发生后,便于快速根据文档恢复,这一点非常重要。






  • 大小: 1.2 MB
  • 大小: 209.9 KB
分享到:
评论

相关推荐

    hadoop安装以及常见异常处理.docx

    Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案

    Hadoop常见异常

    Hadoop常见异常解决方案 Hadoop是一款大数据处理框架,但是在实际使用过程中,可能会遇到各种异常...但是,通过检查Hadoop的配置文件,释放更多的磁盘空间,删除多余的文件和机器名等方法,可以解决大多数的异常情况。

    云计算Hadoop平台的异常数据检测算法研究.pdf

    总体而言,云计算Hadoop平台的异常数据检测算法研究是针对当前云计算大数据处理中存在的问题,通过创新的算法设计和多层次模组架构,提供了一种有效的异常数据检测解决方案。该方案不仅可以有效提升数据处理的准确性...

    Hadoop第一次培训材料

    【Hadoop第一次培训材料】是针对初学者设计的一份详细教程,旨在介绍分布式计算框架Hadoop的核心概念和技术。Hadoop是Apache软件基金会开发的一个开源项目,它为处理和存储大量数据提供了可扩展的、可靠的解决方案。...

    Hadoop云计算2.0笔记第一课Hadoop介绍

    Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍 Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍中,我们可以了解到 Hadoop 的生态系统特点、Hadoop 生态系统概况、Hadoop 生态系统版本衍化、下一代 Hadoop、Hadoop 学习...

    基于Hadoop的交通视频异常事件检测系统的设计与实现.docx

    ### 基于Hadoop的交通视频异常事件检测系统的设计与实现 #### 一、研究背景与意义 在现代交通管理领域,视频监控系统已成为不可或缺的一部分。随着城市化进程的加快,道路交通安全问题日益凸显,如何利用先进的...

    hadoop的dll文件 hadoop.zip

    DLL文件的作用在于提供了一种方式,使得多个应用程序可以共享同一段代码和数据,从而减少内存占用和磁盘空间。在Hadoop的上下文中,这个dll文件可能包含了与Hadoop通信、数据处理或系统交互所需的特定功能。 Hadoop...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    Hadoop安装-保你一次成功.pdf

    Hadoop安装-保你一次成功

    hadoop与空间数据挖掘分析

    Hadoop与空间数据挖掘分析是大数据技术在特定领域应用的一个典型例子。在当今数字化时代,大数据的管理和分析成为了一个重要的研究和应用领域。大数据通常指的是无法用传统数据库工具在合理时间内进行捕获、管理和...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    hadoop-2.7.7 linux安装包

    此文件为hadoop-2.7.7.tar.gz,可在linux下直接进行安装,如在windows上安装,则需要hadooponwindows-master.zip,用windows-master里的文件替换解压好后hadoop的bin和etc即可。Hadoop 2.7.7是一款开源的分布式计算...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    hadoop调试工具hadoop.dll和hadoop.exp和winutils.exe

    DLL文件包含了可被多个程序共享的代码和数据,从而减少了内存占用和磁盘空间。在Hadoop的案例中,hadoop.dll包含了Hadoop分布式文件系统(HDFS)和MapReduce框架的部分功能,使得开发者能够在Windows环境下进行...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    hadoop2.7.3的hadoop.dll和winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...

    hadoop.dll & winutils.exe For hadoop-2.7.1

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...

Global site tag (gtag.js) - Google Analytics