双十一前4小时，CentOS 6.5服务器启动错误排查

11月10日晚上8点多，眼看要到双十一了。。。
但我要说的这段经历却和双十一毫无关系，哈哈。这天准备向CentOS6.5服务器的svn上传一些文件,结果开机启动时,却出现了下面的界面:

这是肿么回事？根据屏幕的提示，先使用root账号登录到系统，然后使用fsck命令手工检测

#cd /tmp/.ICE-unix 		#目录下只有一个X0文件
#fsck X0 或者fsck.ext3 -y X0

显示都是
fsck.ext2(3): No such device or address while trying to open X0
Possibly non-existent or swap device?


接下来尝试直接删除提示中给出的.ICE-unix等目录

提示是Read-only file system

看来是不行，于是google之，看到好几种可能的办法：
1.找到chattr,lsattr命令,执行仍然不行

2.执行

#chmod o-t .ICE-unix

不行，提示是Read-only file system

到这里觉得有点诧异，以root身份都不能执行上面几个命令，很让人抓狂啊
于是我随便进入一个目录

#cd /home
#mkdir test

结果出现提示，不能创建test目录！
然后又试了一下创建文件，修改文件等操作，发现不能创建目录，文件，甚至不能修改文件.不知道是什么原因,难道是交换分区出问题了?
执行df -h，感觉确实是不太对劲


用了上面3种方法全都不行,感觉要彻底崩溃了,难道要重装系统才行吗?上面有非常多的资料备份,以及辛辛苦苦搭建起来的tomcat,mongo,redis,mq等超多东东啊.

这时重新翻看之前的搜索结果,看到http://www.ha97.com/5428.html这篇文章,里面提到linux系统非正常死机,目录和文件成为只读之后的解决办法,用root账号执行

#fsck.ext3 -y /dev/vda3

突然脑子一闪,刚才虽然执行了fsck这个命令,但是仅针对/tmp下一个具体文件,并没有对整个设备手动恢复.于是执行

#fsck.ext3 -y /dev/sda5

接着就看到屏幕出了一堆提示,显示在修复系统,幸好我的机器只是几百G的硬盘,不到3分钟就修复完毕.

接下来reboot,一切都恢复正常!

差点就重新低格一遍这块硬盘,修复系统之后的喜悦心情简直是无以复加,然后想起来，出现这种目录文件不能读写的情况,应该是自己的误操作.在第一遍启动centos系统时,好半天也没有完全启动起来,于是就手动按了PC上的reset按钮进行重启,结果就出现了开头的问题,瞬间感觉linux系统好脆弱啊.

抬头一看时间，是晚上22点多，2个多小时解决问题！然后直接进入双十一模式！

评论

8 楼 sharong 2014-11-13  

yixiandave 写道

XP和WIN7强关开机会强制要求硬盘自检，不过可以跳过，也有断电文件损坏导致系统崩溃的案例。估计linux碰到这种情况也是运气问题，我之前用linux也没碰到过，前两天同事跟我说服务器起不来让我看下我还查了半天才知道原因

我这服务器才用了半年多啊，而且看到好几十个文件读写出问题了，没有抓图

7 楼 sharong 2014-11-13  

pudong 写道

ICE？你们用ICE多少版本

没有用啊，不知道为啥在tmp下有这么个目录

6 楼 pudong 2014-11-13  

ICE？你们用ICE多少版本

5 楼 yixiandave 2014-11-12  

sharong 写道

yixiandave 写道

sharong 写道

yixiandave 写道

哈哈，前几天我们碰到了一模一样的问题，服务器被人误操作强关了导致文件系统损坏

windows系统基本从不出这种问题啊

写文件时候强关什么系统都顶不住linux容易出事只是因为linux作为服务器时后台任务比家用windows多很多

后台任务多这个认同，chkconfig就能看到很多任务。
但是貌似从来没遇到过windows启动时按reset键文件损坏以致需要手动修复的啊

XP和WIN7强关开机会强制要求硬盘自检，不过可以跳过，也有断电文件损坏导致系统崩溃的案例。估计linux碰到这种情况也是运气问题，我之前用linux也没碰到过，前两天同事跟我说服务器起不来让我看下我还查了半天才知道原因

4 楼 sharong 2014-11-12  

yixiandave 写道

sharong 写道

yixiandave 写道

哈哈，前几天我们碰到了一模一样的问题，服务器被人误操作强关了导致文件系统损坏

windows系统基本从不出这种问题啊

写文件时候强关什么系统都顶不住linux容易出事只是因为linux作为服务器时后台任务比家用windows多很多

后台任务多这个认同，chkconfig就能看到很多任务。
但是貌似从来没遇到过windows启动时按reset键文件损坏以致需要手动修复的啊

3 楼 yixiandave 2014-11-12  

sharong 写道

yixiandave 写道

哈哈，前几天我们碰到了一模一样的问题，服务器被人误操作强关了导致文件系统损坏

windows系统基本从不出这种问题啊

写文件时候强关什么系统都顶不住linux容易出事只是因为linux作为服务器时后台任务比家用windows多很多

2 楼 sharong 2014-11-12  

yixiandave 写道

哈哈，前几天我们碰到了一模一样的问题，服务器被人误操作强关了导致文件系统损坏

windows系统基本从不出这种问题啊

1 楼 yixiandave 2014-11-12  

哈哈，前几天我们碰到了一模一样的问题，服务器被人误操作强关了导致文件系统损坏