`

OS + Linux File nfs / ntfs / xfs / ext3 / ext4 / tmpfs / filemon recover lvm

    博客分类:
  • OS
阅读更多

 

linux下文件和目录的颜色代表的含义

http://jayjayjays.iteye.com/blog/306787
蓝色 表示目录;绿色表示可执行文件;

红色 表示压缩文件;

浅蓝 色表示链接文件;

灰色 表示其它文件;

红色闪烁 表示链接的文件有问题了;

黄色 是设备文件 , 包括block, char, fifo。

[root@nginxpre2 ~]# dircolors -p

用dircolors -p看到缺省的颜色设置,包括各种颜色和“粗体”,下划线,闪烁等定义

[root@nginxpre2 ~]# dircolors --help
Usage: dircolors [OPTION]... [FILE]
Output commands to set the LS_COLORS environment variable.
Determine format of output:
  -b, --sh, --bourne-shell    output Bourne shell code to set LS_COLORS
  -c, --csh, --c-shell        output C shell code to set LS_COLORS
  -p, --print-database        output defaults
      --help     display this help and exit
      --version  output version information and exit
If FILE is specified, read it to determine which colors to use for which
file types and extensions.  Otherwise, a precompiled database is used.
For details on the format of these files, run `dircolors --print-database'.
Report bugs to <bug-coreutils@gnu.org>.

Linux / Unix 文件 系统 umask 命令

http://www.ixpub.net/thread-1031627-1-1.html

A 什么是umask?
当我们登录系统之后创建一个文件总是有一个默认权限的,那么这个权限是怎么来的呢?这就是umask干的事情。umask设置了用户创建文件的默认 权限,它与chmod的效果刚好相反,umask设置的是权限“补码”,而chmod设置的是文件权限码。一般在/etc/profile、$ [HOME]/.bash_profile或$[HOME]/.profile中设置umask值。
你的系统管理员必须要为你设置一个合理的 umask值,以确保你创建的文件具有所希望的缺省权限,防止其他非同组用户对你的文件具有写权限。在已经登录之后,可以按照个人的偏好使用umask命 令来改变文件创建的缺省权限。相应的改变直到退出该shell或使用另外的umask命令之前一直有效。一般来说,umask命令是在/etc /profile文件中设置的,每个用户在登录时都会引用这个文件,所以如果希望改变所有用户的umask,可以在该文件中加入相应的条目。如果希望永久 性地设置自己的umask值,那么就把它放在自己$HOME目录下的.profile或.bash_profile文件中。
B 如何计算umask值
umask 命令允许你设定文件创建时的缺省模式,对应每一类用户(文件属主、同组用户、其他用户)存在一个相应的umask值中的数字。对于文件来说,这一数字的最 大值分别是6。系统不允许你在创建一个文本文件时就赋予它执行权限,必须在创建后用chmod命令增加这一权限。目录则允许设置执行权限,这样针对目录来 说,umask中各个数字最大可以到7。
该命令的一般形式为:
umask nnn
其中nnn为umask置000-777。
让我们来看一些例子。
计算出你的umask值:
可以有几种计算umask值的方法,通过设置umask值,可以为新创建的文件和目录设置缺省权限。下表列出了与权限位相对应的umask值。
在计算umask值时,可以针对各类用户分别在这张表中按照所需要的文件/目录创建缺省权限查找对应的umask值。
例如,umask值002 所对应的文件和目录创建缺省权限分别为6 6 4和7 7 5。
还有另外一种计算umask值的方法。我们只要记住umask是从权限中“拿走”相应的位即可。
umask值与权限
umask          文件      目录
    0             6          7
    1             6          6
    2             4          5
    3             4          4
    4             2          3
    5             2          2
    6             0          1
    7             0          0
例如,对于umask值0 0 2,相应的文件和目录缺省创建权限是什么呢?
第一步,我们首先写下具有全部权限的模式,即777 (所有用户都具有读、写和执行权限)。
第二步,在下面一行按照umask值写下相应的位,在本例中是0 0 2。
第三步,在接下来的一行中记下上面两行中没有匹配的位。这就是目录的缺省创建权限。
稍加练习就能够记住这种方法。
第四步,对于文件来说,在创建时不能具有文件权限,只要拿掉相应的执行权限比特即可。
这就是上面的例子,   其中u m a s k值为0 0 2:
1) 文件的最大权限        rwx rwx rwx      (777)
2) umask值为0 0 2        --- --- -w-
3) 目录权限              rwx rwx r-x        (775) 这就是目录创建缺省权限
4) 文件权限              rw- rw- r--        (664) 这就是文件创建缺省权限
下面是另外一个例子,假设这次u m a s k值为0 2 2:
1) 文件的最大权限        rwx rwx rwx      (777)
2 ) u m a s k值为0 2 2   --- -w- -w-
3) 目录权限              rwx r-x r-x        (755) 这就是目录创建缺省权限
4) 文件权限              rw- r-- r--        (644) 这就是文件创建缺省权限
C 常用的umask值
下表列出了一些umask值及它们所对应的目录和文件权限。
常用的umask值及对应的文件和目录权限
umask 值         目录         文件
0 22                    7 5 5           6 4 4
0 27                    7 5 0           6 4 0
0 02                    7 7 5           6 6 4
0 06                    7 7 1           6 6 0
0 07                    7 7 0           6 6 0
D umask命令
如果想知道当前的umask 值,可以使用umask命令:
$umask
如果想要改变umask值,只要使用umask命令设置一个新的值即可:
$ umask 002
确认一下系统是否已经接受了新的u m a s k值:
$umask
002
$touch testfile
$ls -l testfile
   rw- rw- r--  
在使用umask命令之前一定要弄清楚到底希望具有什么样的文件/目录创建缺省权限。否则可能会得到一些非常奇怪的结果;例如,如果将umask值设置为6 0 0,那么所创建的文件/目录的缺省权限就是0 6 6!

RedHat 挂载 NFS分区!

一个cron.daily引发的nfs卸载问题 ,解决

http://www.36ji.net/article/1129/12583.html

more /var/spool/anacron/cron.daily

Linux / Redhat df -h 死机 , df -h 卡住不动了,

解决: 可能是NFS的文件系统没有挂载上。

[root@b2ctest1 ~]# df -h
文件系统              容量  已用 可用 已用% 挂载点
/dev/mapper/VolGroup00-LogVol00
                      284G  129G  140G  48% /
/dev/hda1              99M   13M   82M  13% /boot
tmpfs                 2.0G     0  2.0G   0% /dev/shm

[root@b2ctest1 ~]# ps wwwaux

执行df -hP停住不动 , Linux / Redhat df -h 死机 , df -h 卡住不动了
mount 查看有一个远程nfs
umount /mnt  无法卸载
lsof   /mnt  无进程使用
service portmap stop
umount /mnt 成功
ps aux  进程正常,刚才那些进程都没有了

RPC Error:Program not registered问题的解决办法

http://stevenz.blog.hexun.com/16127677_d.html

[root@b2ctest1 ~]# mount 192.168.100.186:/c/backup /mnt/tivoli
mount: mount to NFS server '192.168.100.186' failed: RPC Error: Program not registered.

服务器IP:172.0.0.1,主机名:p470-1, 通过NFS共享/disk1目录

在客户端使用 mount -t nfs p470-1:/disk1 /disk1

时出现"mount: mount to NFS server 'p470-1' failed: RPC Error: Program not registered."错误提示。

出错原因:p470-1由于网络原因nfs服务被中断,重新开启p470-1的nfs服务,

然后在客户端重新mount disk1即可 , service nfs restart 或 /etc/rc.d/init.d/nfs restart

Linux umount : device is busy 解决方案

http://www.iteye.com/topic/611267

Linux 下的磁盘分区通过挂载(mount)的方式连到一个目录下, 打开此目录就可以看到该分区的内容, 与挂载相反的操作是umount, 它将磁盘分区与目录的关联关系解除.
最近在umount时报下列外, 如:

Java代码
  1. #umount /sd03  
  2. Umount: /sd03 : device is busy.   
#umount /sd03
Umount: /sd03 : device is busy. 
这说明还有某个程序正在使用此目录, 为了保证程序的运行, 默认情况下umount不能卸载. 但是umount没说是哪个程序正在使用. 
在Linux里有一个命令 fuser, 可以通过man fuser 看到详细的介绍:
Java代码
  1. Fuser - identify processes using files or sockets  
Fuser - identify processes using files or sockets
#fuser –m 目录. 会显示使用目录的进程, 那么在umount之前, 可以先把这些进程先Kill.
另外就是使用umount –l 选项. Man umount
Java代码
  1. -l     Lazy  unmount. Detach the filesystem from the filesystem hierarchy now, and cleanup all references to the filesystem as soon as it is not busy any-more.  (Requires kernel  2.4 . 11  or later.)  
-l     Lazy  unmount. Detach the filesystem from the filesystem hierarchy now, and cleanup all references to the filesystem as soon as it is not busy any-more.  (Requires kernel 2.4.11 or later.)
当引用不繁忙时, 直接卸载与之目录相关系的文件系统.  推荐后者.

RHEL 5 挂载NTFS分区!

http://emcome.iteye.com/blog/306789
1.查看RedHat 系统内核版本
[root@localhost ~]# uname -r -p
2.6.18-92.el5 i686
2.根据当前版本到http://www.linux-ntfs.org/去下载相应模块包
   我下的是:kernel-module-ntfs-2.6.18-92.el5-2.1.27-0.rr.10.11.i686.rpm
3.安装包:
[root@localhost Desktop]# rpm -ivh kernel-module-ntfs-2.6.18-92.el5-2.1.27-0.rr.10.11.i686.rpm
Preparing...                ########################################### [100%]
   1:kernel-module-ntfs-2.6.########################################### [100%]
4.挂载模块:
[root@localhost Desktop]# /sbin/modprobe ntfs
5.查看NTFS模块是否被加载
[root@localhost Desktop]# dmesg |grep NTFS
NTFS driver 2.1.27 [Flags: R/W MODULE].
6.挂载NTFS分区
[root@localhost Desktop]#mount -t ntfs /dev/hda5 /mnt/ntfsD
7.查看:
[root@localhost Desktop]#mount
.........................................
/dev/sda1 on /media/USBHDD-BOOT type vfat (rw,noexec,nosuid,nodev,shortname=winnt,uid=500)
/dev/hda5 on /mnt/ntfsD type ntfs (rw)
8.但是这样只能读,怎样才能写呢?
学习中..................

 

linux file recover 误删文件不用怕 grep命令帮你恢复

http://www.bitscn.com/os/linux/201008/190168.html

作为长期的电脑使用者,肯定会有误删文件的经历,在 Mac OS X 和 Windows 上删除的文件都会默认进 “回收站”。在 Linux 上如果事先没有用别名(alias)修改默认的 rm 功能,rm 后文件就会丢失,幸运的是,在一般的删除文件操作中,Linux 并不会立即清空存储该文件的 block 内容,而只会释放该文件所占用的 inode 和 data block,Linux 上 rm 的过程其实就是将 inode bitmap 和 data block bitmap 中的相应标识设为空闲状态的过程,并不涉及到真正的数据,这也是为什么在 Linux 下删除大文件这么快速的原因,因为大文件所占的磁盘根本就没有清空。所以,如果我们能找到文件对应的 inode,由此查到相应的 data block,就可能从磁盘上把已删除的文件恢复出来,很多文件/磁盘恢复工具都是这么做的。

一般来说二进制文件、库文件等删除后都可以从其他 Linux 拷贝恢复,不是很要紧,如果自己辛苦写的脚本或者配置文件误删了就杯具了。误删这种蠢事经常在 VPSee 身上发生,最近一次是在今年年初的时候,开了 screen 多次 ssh 到不同服务器上,在前后切换的过程中删除了一个很肯定的配置文件,后来发现删的文件是对的,可惜在一台错误的服务器上,本来应该在 A 服务器上删除 file.txt 结果在 B 服务器上删除了 file.txt,多个 screen 和 ssh 把自己搞晕了,而且主机名没有安排好,多台机器都是用的 localhost,不利于识别当时的环境。如果使用 Linux 的时候不幸误删了一个文本文件怎么办呢?

先临时建一个文本文件 vpsee.log 做测试,然后删除这个文件:

$ echo "important log file for vpsee.com" > vpsee.log
$ cat vpsee.log
important log file for vpsee.com
$ rm vpsee.log

如果能记住刚才删除文件中的某个关键字的话可以用 grep 搜索整个 /dev/sda1,-a 标志位的意思是把 /dev/sda1 这个分区看成是文本形式的(分区本身是二进制形式的),-B 10 -A 100 的意思是如果找到关键字就打印出其前10行和后100行的内容:

# grep -a -B 10 -A 100 'vpsee.com' /dev/sda1 > tmp.txt

在一堆 @ 之间可以找到我们刚才删除的内容:

$ vi tmp.txt
...
@$^@^@^@^@^@^@^@^@^@^@^@^A^@^@^@^@^@^@^@?^@^@^@^A^@^@^@^@^@^@^@^@^@^@^@è^K^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^A^@^@^@^@^@^@^@^Q^@^@^@^C^@^@^@^@^@^@^@^@^@^@^@è^K^@^@×^@
^@^@important log file for vpsee.com
@
@
...

当然,如果误删了二进制、doc、png/jpg/gif 之类的文件,可以用一些第三方 ext2/ext3 文件恢复工具帮助恢复文件,比如 TestDisk, PhotoRec 等。

使用 Linux 文件恢复工具

http://justcoding.iteye.com/blog/1998537

http://www.ibm.com/developerworks/cn/linux/1312_caoyq_linuxrestore/index.html

Linux 系统管理员守则中有这么一条:“慎用 rm -rf 命令,除非你知道此命令所带来的后果“,不过 Linux 下删除文件并不是真实的删除磁盘分区中的文件,而是将文件的 inode 节点中的扇区指针清除,同时释放这些数据对应的数据块,当释放的数据块被系统重新分配时,那些被删除的数据就会被覆盖,所以误删除数据后,应马上卸载文件所在的分区。然后使用相关工具进行恢复。本文以 Ubuntu 12.04 平台为例介介绍四个(foremost、extundelete、testdisk 和 phtorec)常用的 Linux 删除文件恢复工具的使用方法。

 

Linux 文件恢复的原理

inode 和 block

首 先简单介绍一下 Linux 文件系统的最基本单元:inode。inode 译成中文就是索引节点,每个存储设备(例如硬盘)或存储设备的分区被格式化为文件系统后,应该有两部份,一部份是 inode,另一部份是 block,block 是用来存储数据用的。而 inode 呢,就是用来存储这些数据的信息,这些信息包括文件大小、属主、归属的用户组、读写权限等。inode 为每个文件进行信息索引,所以就有了 inode 的数值。linux 操作系统下可以使用 ls –id 命令来查看文件或者目录的 inode 值,一般”root”目录的 inode 值为 2,一个分区挂载到一个目录下时,这个”root”目录的 inode 值为 2

C代码  收藏代码
  1. mount /dev/sdb2 /tmp  
  2. ls -id /tmp  
  3. 2 /tmp  

 

文件恢复的原理

本文要介绍的命令是通过文件系统的 inode 值(一般是 2 )来获取文件系统信息。在 ext3 和 ext4 文件系统中,每个文件都是通过 inode 来描述其数据存放的具体位置,当文件被删除以后,inode 的数据指针部分被清零,文件目录区没有太多变化。文件的读写都是通过 inode 来实现,当 inode 数据指针被清零以后,即便文件内容还在,也没有办法把文件内容组合出来。当 ext3 和 ext4 文件系统中的元数据 metadata 发生变化时,相应的元数据 metadata 在日志文件会有一份拷贝。比如一个文件被删除了,它的 inode 信息会在日志文件中先保存一份,然后把要删除文件 inode 相关信息清零。这个日志文件是循环使用的,当操作过多时,删除的文件的 inode 日志记录会被新的数据替换,这就彻底丧失了根据 inode 找回数据的机会了。如果是大量文件的删除,这个日志文件会被反复循环利用多次,只留给最后删除的那些文件的恢复机会。

 

使用命令行工具恢复文件

foremost 和 extundelete 简介

formost 是一个基于文件头和尾部信息以及文件的内建数据结构恢复文件的命令行工具。这个过程通常叫做数据挖掘(data carvubg)。formost 可以分析由 dd、Safeback、Encase 等生成的镜像文件,也可以直接分析驱动器。文件头和尾可以通过配置文件设置,也可以通过命令行开关使用 formost 内建的文件类型。formost 最初是由美国空军特别调查室(Air Force Office of Special Investigations)和信息系统安全研究中心(The Center for Information Systems Security Studies and Research)开发的,现在使用 GPL 许可。Foremost 支持恢复如下格式:avi, bmp, dll, doc, exe, gif, htm, jar, jpg, mbd, mov, mpg, pdf, png, ppt, rar, rif, sdw, sx, sxc, sxi, sxw, vis, wav, wmv, xls, zip。

 

针对 Linux 下的 ext 文件系统来说,常用的 Linux 文件删除恢复工具有 debugfs、ext3grep、extundelete 等。extundelete 是一个开源的数据恢复工具,支持 ext3、ext4 文件系统,其官方站点位于http://extundelete.sourceforce.net/,目前最新稳定版本为 0.2.0。

 

上 面介绍的两种命令行工具 foremost 和 extundelete 二者相比,foremost 支持的文件系统比较多(包括 ext2、 ext3 、vfat、NTFS、ufs、jfs 等)和 extundelete 支持的文件系统较少(ext3、ext4)文件系统。不过 foremost 只能支持恢复特定格式的文件。

 

使用 foremost

首先安装软件包

C代码  收藏代码
  1. apt-get install foremost  

 

其它 Linux 发行版用户可以在 http://foremost.sourceforge.net/ 下载源代码编译安装。下面看看使用方法。

 

恢复单个类型文件

笔者删除一个 USB(/dev/sdba1)存储器中一个 png 文件然后使用 formost 恢复。

C代码  收藏代码
  1. rm -f /dev/sdb1/photo1.png  
  2. foremost -t png -i /dev/sdb1  

 

恢复完成后会在当前目录建立一个 output 目录,在 output 目录下会建立 png 子目录下会包括所有可以恢复的 png 格式的文件。

 

需要说明的是 png 子目录下会包括的 png 格式的文件名称已经改变,另外 output 目录下的 audit.txt 文件是恢复文件列表。

 

恢复多个类型文件

C代码  收藏代码
  1. foremost -v -T -t doc,pdf,jpg,gif -i /dev/sda6 -o /media/disk/Recover  

 

恢复完成后会在当前目录建立一个 output 目录,在 output 目录下会建立四个子目录(/doc,/pdf,/jpg,/gif),分别包括四种类型文件。另外 output 目录下的 audit.txt 文件是恢复文件列表。

 

使用 extundelete

首先安装软件包

C代码  收藏代码
  1. apt-get install extundelete  

 

其它 Linux 发行版用户可以在http://extundelete.sourceforce.net/下载源代码编译安装。下载安装 extundelete 之前要安装两个软件包 e2fsprogs 和 e2fslibs。下面看看使用方法

 

模拟数据误删除环境

这里我们使用一个分区/dev/sdd1 挂在在/backupdate 上,建立一个测试目录/delete 并建立一文件:del1.txt 。

C代码  收藏代码
  1. # mkdir –p /backupdate/deldate  
  2. # mkfs.ext4 /dev/sdd1  
  3. # mount /dev/sdd1 /backupdate  
  4. #cd /backupdate/deldate  
  5. # touch del1.txt  
  6. # echo " test 1" > del1.txt  
  7. 获取文件校验码  
  8. # md5sum del1.txt                             
  9.  66fb6627dbaa37721048e4549db3224d  del1.txt  
  10.   
  11. 删除文件  
  12. # rm -fr /backupdate/*     
  13.   
  14. 卸载文件系统或者挂载为只读  
  15. # umount /backupdate  
  16. 查询恢复数据信息,注意这里的--inode 2 这里会扫描分区 :  
  17. # extundelete /dev/sdd1 --inode 2  
  18. .....  
  19. File name                                       | Inode number | Deleted status  
  20. Directory block 8657:  
  21. .                                                 2  
  22. ..                                                2  
  23. lost+found                                        11             Deleted  
  24. del1.txt                                          12             Deleted  

 

上面标记为 Deleted 是已经删除的文件或目录

开始恢复文件

默认恢复到当前目录下的 RECOVERED_FILES 目录中去。

C代码  收藏代码
  1. # extundelete /dev/sdd1 --restore-file del1.txt  
  2. 如果恢复一个目录  
  3. # extundelete /dev/sdd1 --restore-directory /backupdate/deldate  
  4. 恢复所有文件  
  5. # extundelete /dev/sdd1 --restore-all  
  6. 获取恢复文件校验码,对比检测是否恢复成功  
  7. # md5sum RECOVERED_FILES/ del1.txt                           
  8. 66fb6627dbaa37721048e4549db3224d  RECOVERED_FILES/del1.txt  

 

查看校验码与之前的是否完全一致。

应 用总结:笔者在现实使用过程中发现 extundelete 还是有很大的不完整性,基于整个磁盘的恢复功能较为强大,基于目录和文件的恢复还不够强大。在 Linux 下误删除了文件,当发现数据丢失以后,不要进行任何操作,保留现场。要想办法把数据丢失的文件系统经过 dd 命令或者 AIR(Automated Image Restore,http://cdnetworks-kr-2.dl.sourceforge.net/ )工具到另外的存储空间上作为最原始的备份,以便数据恢复专家现场诊断恢复。

 

使用 scalpel

以上介绍的工具主要使用在 ext3 和 ext4 的文件系统,如果用户使用的那些没有日志机制的旧有文件系统,可以使用 scalpel 工具。scalpel 是一种快速文件恢复工具,它通过读取文件系统的数据库来恢复文件。它是独立于文件系统的。

 

用户可以在http://www.digitalforensicssolutions.com/Scalpel/ 下载源代码编译安装。下面看看使用方法:

使用 scalpel 工具之前,首先要修改配置文件: /etc/scalpel/scalpel.conf。

例如用户要恢复所有删除 pdf 文件,那么要在/etc/scalpel/scalpel.conf 把包括 pdf 文件格式的两行之前的# 去掉。

C代码  收藏代码
  1. [...]  
  2.         pdf     y       5000000 %PDF  %EOF\x0d  REVERSE  
  3.         pdf     y       5000000 %PDF  %EOF\x0a  REVERSE  
  4. [...]  

 

然后保存文件。

下面看看使用方法

C代码  收藏代码
  1. # scalpel /dev/sdb1 -o /RECOVERY/  

 

其中/dev/sdb1 是目标驱动器,/RECOVERY/ 是恢复文件存储目录。目录下的 audit.txt 文件是恢复文件列表。

 

使用字符终端工具 testdisk 和 phtorec

testdisk 简介

testdisk 是分区表恢复、raid 恢复、分区恢复的开源免费工具(testdisk 支持如下文件系统: FAT12/FAT16/FAT32/NTFS/ext2/ext3/ext4)。testdisk 支持的功能: 修复分区表, 恢复已删除分区,用 FAT32 备份表恢复启动扇区,重建 FAT12/FAT16/FAT32 启动扇区,修复 FAT 表,重建 NTFS 启动扇区,用备份表恢复 NTFS 启动扇区,用 mft 镜像表(mft mirror)修复 mft 表,查找 ext2/ext3 备份的 superblock,从 FAT,NTFS 及 ext2 文件系统恢复删除文件,从已删除的 FAT,NTFS 及 ext2/ext3 分区复制文件。

 

使用方法

首先安装

C代码  收藏代码
  1. #apt-get install testdisk  

 

其它 Linux 发行版用户可以在http://www.cgsecurity.org/wiki/TestDisk_Download 下载源代码编译安装。下载安装 testdisk 之前要安装几个软件包 libjpeg8 ,libncursesw5, libuuid1, zlib1g 。下面看看使用方法

启动 testdisk

C代码  收藏代码
  1. #testdisk  

 

testdisk 启动后的工作界面首先是选择恢复操作中的 log 文件(testdisk.log)的纪录方式见图 1。

 
图 1.选择恢复操作中的 log 文件的纪录方式

图 1 选择恢复操作中的 log 文件的纪录方式

[Create]新建

[Append]追加

[No Log]不纪录

选择了 log 文件的记录方式后、系统显示处于连接状态的磁盘设备见图 2。

 
图 2.处于连接状态的磁盘设备

图 2 处于连接状态的磁盘设备

在列出的磁盘设备中,选择要恢复的分区,然后选择磁盘分区的种类。若是 ext4 文件系统的话,请选择 [None ] Non partitioned media 见图 3

 
图 3.选择 [None ] Non partitioned media

Figure xxx. Requires a heading

说明:一般选择[Intel] Intel/PC partition(如果是 GPT 分区,请选择 EFI GPT),对于 ext4 文件系统选择 [Intel] Intel/PC partition 也能正确识别,只是分析硬盘時比较慢。

下面的画面中选择[Analyse],对分区进行分析见图 4。

 
图 4.对分区进行分析

图 4 对分区进行分析

下面显示了当前分区的状态。这是软件分析的当前分区表的分区结果,我们选择“Deep Search”进行一次深入检测见图 5。

 
图 5.选择“Deep Search”进行一次深入检测

图 5 选择“Deep Search”进行一次深入检测

下面是检测完成界面见图 6

 
图 6.检测完成界面

图 6 检测完成界面

在这个画面时,按 P 键就可以列出硬盘上的文件见图 7

 
图 7.红色的文件名称就是已经被删除的文件

图 7 红色的文件名称就是已经被删除的文件

红色的文件名称就是已经被删除的文件,选择好你要恢复的文件后,按 c 键之后,它就会问你要复制到哪个目录,这时请选择你要 复制的目地地(destination)即可。

 

photorec 简介

photorec 是一款用于恢复硬盘、光盘中丢失的视频、文档、压缩包等文件,或从数码相机存储卡中恢复丢失图片的数据恢复软件(因此,该软件命名为 photo recovery 这个名字)。 photorec 忽略文件系统,能直接从介质底层恢复数据,因此,在介质的文件系统严重破坏或被重新格式化后,它也能进行数据恢复。出于安全考虑, photorec 以只读方式来访问您要恢复数据所在的磁盘或存储卡介质。提示: 一旦发现丢失或意外删除了某个图片、文件, 请不要继续往该存储设备或磁盘保存新文件;否则您可能会覆盖原来的数据。 这意味着您在使用 photorec 时,您千万不要将恢复的文件写入到原数据所存储的同一分区。

 

使用 photorec 恢复文件

photorec 是 testdisk 的伴侣程序,安装 testdisk 后 photorec 就可以使用了。

启动 photorec

C代码  收藏代码
  1. # photorec  

 

图 8 中显示了已连接磁盘设备,准备恢复的文件在那个设备上就选择它,然后在选择 Proceed 按钮继续下一步。

 
图 8.已连接磁盘设备

图 8 已连接磁盘设备

接下来,选择恢复的磁盘分区格式。这里选择 ext4 见图 9。

 
图 9.选择恢复的磁盘分区格式

图 9 选择恢复的磁盘分区格式

画面下方[File Opt]中有可供恢复的文件种类提供被选择见图 10。

 
图 10.可供恢复的文件种类

图 10 可供恢复的文件种类

说明:如果只是 root 据某些文件签名要恢复部分文件类型,那么可以按 s 取消全部勾选,然后移动光标到要恢复的文件类型,可按空格来选择高亮选中的类型。

下面设定要分析的磁盘空间区域,可整个分区搜索,也可只搜索自由空间(相当于未分配簇)见图 11 。

 
图 11.设定要分析的磁盘空间区域

图 11 设定要分析的磁盘空间区域

下面选择分区所使用的文件系统类型,然后设定导出的文件目录,一般输入 Y 并回车即可。图 12 是恢复完成界面。

 
图 12.恢复完成

图 12 恢复完成

恢复完了选择 Quit 退出 PhtoRec。被恢复的文件是 recup_dir.x 的若干数字子组合为文件名被保存在当前目录的/recup_dir 子目录下的。

 

功能对比

表 1 是 Linux 删除文件恢复工具

 
表 1.Linux 删除文件恢复工具

工具名称/功能对比 工作界面 功能简介

foremost 命令行 formost 是一个基于文件头和尾部信息以及文件的内建数据结构恢复文件的命令行工具
extundelete 命令行 Extundeleteext3、ext4 文件系统的恢复工具
scalpel 命令行 scalpel 是一种快速文件恢复工具,它通过读取文件系统的数据库来恢复文件。它是独立于文件系统的
testdisk 字符终端 Testdisk 支持分区表恢复、raid 恢复、分区恢复
phtorec 字符终端 photorec 用来恢复硬盘、光盘中丢失的视频、文档、压缩包等文件,或从数码相机存储卡中恢复丢失的图片

 

总结

可以使用 testdisk 进行文件恢复的场合,也就是硬盘上的分区(该分区有原有数据纪录)已经损坏的情形。但是如果损坏之后,重新再次做成了新分区的话,文件恢复的可能性比较小,很困难。photorec 不仅针对 硬盘、USB 设备、CD-ROM、SD 卡,而且还可以对其它存储设备进行应用。因此大多数常用的文件如果被误操作的话,均可利用其来进行恢复,只不过它的初衷是针对照片而制作的。

 

参考资料

学习

讨论

  • 加入 developerWorks 中文社区,developerWorks 社区是一个面向全球 IT 专业人员,可以提供博客、书签、wiki、群组、联系、共享和协作等社区功能的专业社交网络社区。

来源:http://www.ibm.com/developerworks/cn/linux/1312_caoyq_linuxrestore/index.html

实例:Linux EXT3文件系统下成功恢复误删的文件[原创] 张宴

http://www.iteye.com/articles/435

http://blog.s135.com/linux_ext3_undelete/

http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html

http://blog.chinaunix.net/u/30312/showart.php?id=1814218

HOWTO recover deleted files on an ext3 file system
  环境:CentOS 5.3 x86_64下,/dev/sdb1为数据分区/data0,EXT3文件系统。
  前因:误删了/data0/tcsql/cankao/phpcws-1.5.0/httpcws.cpp文件。由于忘了备份httpcws.cpp文件,重新开发工作量较大,因此只有恢复该文件一条路可走。
  debugfs命令针对EXT2分区还行,但对EXT3分区就帮不上忙了。偶然发现的一款开源软件,解决了我的大忙。该软件下载网址为:
  http://code.google.com/p/ext3grep/
  1、先安装ext3grep软件:

wget http://ext3grep.googlecode.com/files/ext3grep-0.10.1.tar.gz
tar zxvf ext3grep-0.10.1.tar.gz
cd ext3grep-0.10.1
./configure
make
make install



  2、umount /data0分区:

umount /data0


  如果提示busy,先kill正在使用这个目录的进程,再umount:

fuser -k /data0
umount /data0



  3、查询所有Inode,(执行需要几分钟~十多分钟):

ext3grep /dev/sdb1 --ls --inode 2


  点击在新窗口中浏览此图片

  4、逐级查找Inode,看是否能找到httpcws.cpp文件(此步骤也可省略):

  点击在新窗口中浏览此图片

  点击在新窗口中浏览此图片

  5、恢复/data0/tcsql/cankao/phpcws-1.5.0/httpcws.cpp文件:

ext3grep /dev/sdb1 --restore-file tcsql/cankao/phpcws-1.5.0/httpcws.cpp


  点击在新窗口中浏览此图片
  如果提示以下信息,则表示恢复成功:
  Restoring tcsql/cankao/phpcws-1.5.0/httpcws.cpp
  这时,执行ext3grep命令的当前目录下将会自动生成一个名为RESTORED_FILES 的文件夹,文件夹下的tcsql/cankao/phpcws-1.5.0/httpcws.cpp即为恢复的文件。查看了一下,和被删除前的内容一样,大功告成。
  6、重新mount /data0分区:

mount /dev/sdb1 /data0

参考资料:http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html

Ext4,Ext3的特点和区别   // Ext2 v.s. Ext3 v.s. Ext4 性能比拼

http://hutuworm.blogspot.com/2009/02/ext2-vs-ext3-vs-ext4.html

http://hi.baidu.com/deathshadow/blog/item/24976701abe01ade267fb564.html

http://zxboom.iteye.com/blog/383986

            Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版,修改了 Ext3 中部分重要的数据结构,而不仅仅像 Ext3 对 Ext2 那样,只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性,还有更为丰富的功能:
1. 与 Ext3 兼容。 执行若干条命令,就能从 Ext3 在线迁移到 Ext4,而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留,Ext4 作用于新数据,当然,整个文件系统因此也就获得了 Ext4 所支持的更大容量。
2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件,Ext4 分别支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系统,以及 16TB 的文件。
3. 无限数量的子目录。 Ext3 目前只支持 32,000 个子目录,而 Ext4 支持无限数量的子目录。
4. Extents。 Ext3 采用间接块映射,当操作大文件时,效率极其低下。比如一个 100MB 大小的文件,在 Ext3 中要建立 25,600 个数据块(每个数据块大小为 4KB)的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念,每个 extent 为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”,提高了不少效率。
5. 多块分配。 当 写入数据到 Ext3 文件系统中时,Ext3 的数据块分配器每次只能分配一个 4KB 的块,写一个 100MB 文件就要调用 25,600 次数据块分配器,而 Ext4 的多块分配器“multiblock allocator”(mballoc) 支持一次调用分配多个数据块。
6. 延迟分配。 Ext3 的数据块分配策略是尽快分配,而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在 cache 中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7. 快速 fsck。 以前执行 fsck 第一步就会很慢,因为它要检查所有的 inode,现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
8. 日志校验。 日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏,而且它将 Ext3 的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9. “无日志”(No Journaling)模式。 日志总归有一些开销,Ext4 允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10. 在线碎片整理。 尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4 支持在线碎片整理,并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。
11. inode 相关特性。 Ext4 支持更大的 inode,较之 Ext3 默认的 inode 大小 128 字节,Ext4 为了在 inode 中容纳更多的扩展属性(如纳秒时间戳或 inode 版本),默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久预分配(Persistent preallocation)。 P2P 软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API(libc 中的 posix_fallocate()),比应用软件自己实现更有效率。
13. 默认启用 barrier。 磁 盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录,若 commit 记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4 默认启用 barrier,只有当 barrier 之前的数据全部写入磁盘,才能写 barrier 之后的数据。(可通过 "mount -o barrier=0" 命令禁用该特性。)
Ext4 随 Linux kernel 2.6.28 正式发布已有数周,一直苦于找不到测试用的磁盘,正巧年前 Intel 送来几块 SSD 测试样品,这两天就顺带把 SSD 也测了。测试所使用的 Linux 内核版本为 2.6.28.2,测试工具为 IOzone 3.318。
IOzone 测试命令为:

time /opt/iozone/bin/iozone -a -s 4G -q 256 -y 4 >|/root/ext4-iozone-stdout.txt

上述命令的说明如下:

Auto Mode
File size set to 4194304 KB
Using Maximum Record Size 256 KB
Using Minimum Record Size 4 KB
Command line used: /opt/iozone/bin/iozone -a -s 4G -q 256 -y 4
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.

测试结果除了表明 Intel SSD 的读写速度快得令人咋舌之外,还可以说明 Ext4 的各方面性能都超过了上一代 Ext3,甚至在大多数情况下,比没有日志功能的 Ext2 还要快出不少:

  reclen write rewrite read reread random read random write bkwd read record rewrite stride read fwrite frewrite fread freread
Ext2

real 28m12.718s
user 0m10.725s
sys 5m8.265s
4 218,680 216,596 630,248 245,802 88,700 138,065 106,112 1,882,623 73,538 214,175 218,364 566,570 247,381
8 215,308 218,690 556,064 246,260 154,680 150,052 188,397 2,462,367 130,896 217,157 216,647 583,808 248,397
16 216,457 216,843 575,046 245,701 258,660 158,750 306,842 2,654,320 220,939 216,061 218,140 598,174 246,581
32 217,925 214,289 537,976 243,081 394,013 167,002 464,240 2,397,831 340,775 217,434 219,353 583,463 246,341
64 215,460 219,256 527,919 244,362 503,227 162,917 609,546 2,546,079 456,243 216,875 217,692 571,707 244,264
128 219,081 216,173 540,831 242,526 609,750 161,442 721,701 2,656,729 551,122 217,780 217,427 579,271 242,291
256 216,091 217,631 565,111 245,157 654,274 173,955 870,547 2,574,261 634,835 216,638 219,693 563,735 247,101
Ext3

real 27m42.449s
user 0m11.529s
sys 7m17.049s
4 218,242 213,039 482,132 243,986 88,007 156,926 105,557 1,540,739 75,010 216,028 216,432 522,704 243,385
8 218,390 217,915 544,892 244,979 152,424 190,454 181,486 1,945,603 130,737 218,364 216,431 530,853 243,222
16 218,083 217,683 561,038 244,506 255,244 200,032 300,212 2,096,495 221,329 216,930 216,661 514,177 244,069
32 216,258 217,013 569,246 243,811 389,745 198,275 446,462 1,934,853 338,785 216,809 219,296 530,634 243,446
64 218,850 217,711 577,529 243,725 497,689 201,693 589,535 2,036,412 450,449 219,387 214,900 514,353 244,809
128 220,234 215,687 530,519 241,615 608,244 199,619 714,295 1,992,168 553,022 217,828 218,454 513,596 241,510
256 216,011 220,188 592,578 242,548 642,341 199,408 834,240 2,092,959 624,043 217,682 218,165 529,358 242,878
Ext4

real 27m3.485s
user 0m10.847s
sys 6m9.578s
4 221,823 216,992 532,488 273,668 85,210 183,195 103,036 1,862,817 74,781 225,841 220,620 523,799 272,848
8 226,028 218,580 561,960 272,036 154,972 216,505 178,482 2,135,372 132,506 227,423 215,766 641,021 271,328
16 222,241 217,746 547,548 270,895 260,899 223,895 295,288 2,095,966 223,135 226,055 216,210 621,287 273,475
32 220,121 213,025 240,426 247,628 345,210 175,977 451,631 2,145,351 342,236 225,796 213,427 598,331 269,759
64 223,983 214,437 308,696 551,577 754,941 225,897 523,130 2,218,016 448,086 227,030 214,706 582,795 272,323
128 222,576 217,816 624,636 271,293 644,500 224,997 720,468 2,308,315 582,943 225,971 217,373 552,335 274,237
256 221,202 222,238 541,685 270,898 671,748 228,085 845,494 2,215,381 643,715 225,411 219,166 580,066 273,342
                   

 

 

ext4  文件系统 新特性

http://kernelnewbies.org/Ext4

http://jackyrong.iteye.com/blog/734107

http://linux.chinaunix.net/bbs/thread-1059437-1-1.html

Ext4

Ext4 is part of the Linux 2.6.28 kernel, read the previous link to know more details about that release.

  1. Introduction
  2. EXT4 features
    1. Compatibility
    2. Bigger filesystem/file sizes
    3. Sub directory scalability
    4. Extents
    5. Multiblock allocation
    6. Delayed allocation
    7. Fast fsck
    8. Journal checksumming
    9. "No Journaling" mode
    10. Online defragmentation
    11. Inode-related features
    12. Persistent preallocation
    13. Barriers on by default
  3. How to use Ext4
    1. Creating a new Ext4 filesystem from the scratch
    2. Migrate existing Ext3 filesystems to Ext4
    3. Mount an existing Ext3 filesystem with Ext4 without changing the format

 

 

RedHat Linux file monnitor

http://vaqeteart.iteye.com/blog/604980

fuser
[功能]
fuser 可以显示出当前哪个程序在使用磁盘上的某个文件、挂载点、甚至网络端口,并给出程序进程的详细信息.

[描述]
fuser显示使用指定文件或者文件系统的进程ID.默认情况下每个文件名后面跟一个字母表示访问类型。
访问类型如下:
c 代表当前目录
e 可执行的被运行
f 打开的文件。默认不显示。
F 打开的文件,用于写操作。默认不显示。
r 根目录。
m 映射文件或者共享库。
当指定的文件没有被访问,或者出现错误的时候,fuser会返回非零。

为了查看使用tcp和udp套接字的进程,需要-n选项并指定名称空间。默认IpV4和IpV6都会显示。套接字可以是本地的或者是远程的端口,和远程的地址。所有的域是可选的,但是其前面的','必须存在。如下:
[lcl_port][,[rmt_host][,[rmt_port]]]
对于ip地址和port,名称和数字表示都可以使用。

fuser只把PID输出到标准输出,其他的都输出到标准错误输出。

一些常用选项:
-a 显示所有命令行中指定的文件,默认情况下被访问的文件才会被显示。
-c 和-m一样,用于POSIX兼容。
-k 杀掉访问文件的进程。如果没有指定-signal就会发送SIGKILL信号。
-i 杀掉进程之前询问用户,如果没有-k这个选项会被忽略。
-l 列出所有已知的信号名称。
-m name 指定一个挂载文件系统上的文件或者被挂载的块设备(名称name)。这样所有访问这个文件或者文件系统的进程都会被列出来。如果指定的是一个目录会自动转换成"name/",并使用所有挂载在那个目录下面的文件系统。
-n space 指定一个不同的命名空间(space).这里支持不同的空间文件(文件名,此处默认)、tcp(本地tcp端口)、udp(本地udp端口)。对于端口, 可以指定端口号或者名称,如果不会引起歧义那么可以使用简单表示的形式,例如:name/space (即形如:80/tcp之类的表示)。
-s 静默模式,这时候-u,-v会被忽略。-a不能和-s一起使用。
-signal 使用指定的信号,而不是用SIGKILL来杀掉进程。可以通过名称或者号码来表示信号(例如-HUP,-1),这个选项要和-k一起使用,否则会被忽略。
-u 在每个PID后面添加进程拥有者的用户名称。
-v 详细模式。输出似ps命令的输出,包含PID,USER,COMMAND等许多域,如果是内核访问的那么PID为kernel.
-V 输出版本号。
-4 使用IPV4套接字,不能和-6一起应用,只在-n的tcp和udp的命名存在时不被忽略。
-6 使用IPV6套接字,不能和-4一起应用,只在-n的tcp和udp的命名存在时不被忽略。
- 重置所有的选项,把信号设置为SIGKILL.

man手册待继续阅读。


[举例]
*显示使用某个文件的进程信息:
$ fuser -um /dev/sda2
输入之后,输出如下:
/dev/sda2:            6378c(quietheart)  6534c(quietheart)  6628(quietheart)  6653c(quietheart)  7429c(quietheart)  7549c(quietheart)  7608c(quietheart)
这个命令在umount的时候很有用,可以找到还有哪些用到这个设备了。

*杀掉打开readme文件的程序,在确定之前有提示:
$fuser -m -k -i readme
或$fuser -kmi readme
这里,会在kill之前询问是否确定。最好加上-v以便知道将要杀那个进程。

*查看那些程序使用tcp的80端口:
$fuser -n tcp 80
或$fuser -v -n tcp 80
或$fuser -v 80/tcp
这里,后两种方式显示的信息比较全,因为有了-v选项。

[其他]
*假设无法卸载的设备为/dev/sdb1
1)运行下面命令看一下哪个用户哪个进程占用着此设备
fuser -m -v /dev/sdb1

2)运行下面命令杀掉占用此设备的进程
fuser -m -v -k /dev/sdb1
或者fuser -m -v -k -i  /dev/sdb1(每杀掉一下进程会让你确认)
3)再umount

*杀掉所有以任何形式访问文件系统 /home的进程:
$fuser -km /home

 

断开某个远程 终端用户的连接
http://hi.baidu.com/kson34/blog/item/40bf5a13a3a86b2fdc54017c.html
who 查看用户连接
 
fuser -k /dev/pts/x x为who下看到的这个用户的pts序号
断开本地用户

fuser -k /dev/ttyx x为who查看到的tty序号

 

 

umount 的时候报错:device is busy

http://liuyu.blog.51cto.com/183345/64044

今天刚上服务器习惯的用了输入:
 df -HT
查看到有移动硬盘挂载在/mnt/usbdisk目录下...
想必是上次没有umount  
执行umount 的时候却提示:device is busy  
强行: umount /dev/sdb2 -f
提示:umount2: 设备或资源忙
umount: /mnt/usbdisk: device is busy
有人在使用...查看一样使用情况: fuser -m /mnt/usbdisk    
有 6406 进程在使用..
ps aux | grep 6406
再kill
接着umount 提示还是失败...
接着 fuser -k /mnt/usbdisk
提示:
/mnt/usbdisk/:        6406c
No automatic removal. Please use  umount /mnt/usbdisk
按提示操作: umount /mnt/usbdisk  OK    搞定!
 
RHEL Server 5如何扩大tmpfs文件系统?

http://bbs.chinaunix.net/viewthread.php?tid=2105252

[root@localhost ~ ]# mount tmpfs /dev/shm -t tmpfs -o size=7.9g

 

[root@nginx1 rsync_log]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol01
                       16G   11G  3.9G  74% /
/dev/sda1              99M   13M   82M  13% /boot
tmpfs                 7.9G     0  7.9G   0% /dev/shm
/dev/mapper/appvg-applv
                      178G  128G   41G  77% /opt

RedHat Linux tmpfs的一点认识

http://blog.csdn.net/squidipt/article/details/6260112

  大家知道物理内存的存取速度是通常磁盘的10倍以上,直接使用它来存放客户频繁访问的资源有很多应用场景,比方说我们的少量静态资源,例如css,js,image),那么我们就可以直接使用内存来存放这些资源,能很好的提高用户访问网站的体验。

  传统的ramdisk是个块设,是把物理内存拿出来一部份当作磁盘使用,使用它需要用mkfs来创建文件系统,才能真正地使用它,且改变ramdisk的默认大小(默认是16MB)好像还比较麻烦.这个功能其实已可以使用tmpfs来代替,并且更简单.

   tmpfs是一种基于内存的文件系统,使用它不需要像ramdisk还需要手工创建文件系统,直接mount即可.tmpfs不仅可以使用服务器的物理内 存,还可以使用您的swap分区来存储. 我们通常在RHEL的发行版里用df指令列出当前系统的磁盘空间看到如下一行:

 tmpfs                 4.0G     0  4.0G   0% /dev/shm

这是在/etc/fstab里定义的.

tmpfs                   /dev/shm                tmpfs   defaults        0 0

这个4.0G的分区空间由来是加载选项size的默认值(系统物理内存的一半),这个tmpfs使用的内存是在memory里的作为cached显示的。那么这个/dev/shm是可以使用的。注意,由于使用的是内存,所以存放在/dev/shm目录的东西是易失的。

RedHat Linux tmpfs文件系统介绍

http://www.linuxany.com/archives/800.html

 

如果我必须一下子说清楚 tmpfs,我会说 tmpfs 就象虚拟磁盘(ramdisk),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。总而言之,这让 tmpfs 成为我有机会遇到的最好的基于 RAM 的文件系统。

一、介绍
1、tmpfs 和VM
让我们来看看 tmpfs 更有趣的一些特性吧。正如我前面提到的一样,tmpfs 既可以使用 RAM, 也可以使用交换分区。刚开始这看起来可能有点武断,但请记住 tmpfs 也是我们知道的“虚拟内存文件系统”。而且,您可能也知道,Linux 内核的虚拟内存资源同时来源于您的 RAM 和交换分区。内核中的 VM 子系统将这些资源分配到系统中的其它部分,并负责在后台管理这些资源,通常是透明地将 RAM 页移动到交换分区或从交换分区到 RAM 页。
tmpfs 文件系统需要 VM 子系统的页面来存储文件。tmpfs 自己并不知道这些页面是在交换分区还是在 RAM 中;做这种决定是 VM 子系统的工作。tmpfs 文件系统所知道的就是它正在使用某种形式的虚拟内存。

2、不是块设备
这里是 tmpfs 文件系统另一个有趣的特性。不同于大多数“标准的”文件系统,如 ext3、ext2、XFS、JFS、ReiserFS 和其它一些系统,tmpfs 并不是存在于一个底层块设备上面。因为 tmpfs 是直接建立在 VM 之上的,您用一个简单的 mount 命令就可以创建 tmpfs 文件系统了。

# mount tmpfs /mnt/tmpfs -t tmpfs

执行这个命令之后,一个新的 tmpfs 文件系统就安装在 /mnt/tmpfs,随时可以使用。注意,不需运行 mkfs.tmpfs ;事实上,那是不可能的,因为没有这样的命令存在。在 mount 命令执行之后,文件系统立即就被安装并且可以使用了,类型是 tmpfs 。这和 Linux 虚拟磁盘如何使用大相径庭;标准的 Linux 虚拟磁盘是 块设备,所以在使用它们之前必须用您选择的文件系统将其格式化。相反,tmpfs 是一个文件系统。所以,您可以简单地安装它就可以使用了。

二、tmpfs 的优势
1、动态文件系统的大小
您可能想知道我们前面在 /mnt/tmpfs 安装的 tmpfs 文件系统有多大。这个问题的答案有点意外,特别是在和基于磁盘的文件系统比较的时候。/mnt/tmpfs 最初会只有很小的空间,但随着文件的复制和创建,tmpfs 文件系统驱动程序会分配更多的 VM,并按照需求动态地增加文件系统的空间。而且,当 /mnt/tmpfs 中的文件被删除时,tmpfs 文件系统驱动程序会动态地减小文件系统并释放 VM 资源,这样做可以将 VM 返回到循环当中以供系统中其它部分按需要使用。因为 VM 是宝贵的资源,所以您一定不希望任何东西浪费超出它实际所需的 VM,tmpfs 的好处之一就在于这些都是自动处理的。

2、速度
tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。即使用了一些交换分区,性能仍然是卓越的,当更多空闲的 VM 资源可以使用时,这部分 tmpfs 文件系统会被移动到 RAM 中去。让 VM 子系统自动地移动部分 tmpfs 文件系统到交换分区实际上对性能上是好的,因为这样做可以让 VM 子系统为需要 RAM 的进程释放空间。这一点连同它动态调整大小的能力,比选择使用传统的 RAM 磁盘可以让操作系统有好得多的整体性能和灵活性。

3、没有持久性
这看起来可能不象是个积极因素,tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。我想您可能猜到了 tmpfs 被称为“tmpfs”的一个原因,不是吗?然而,这实际上可以是一件好事。它让 tmpfs 成为一个保存您不需保留的数据(如临时文件,可以在 /tmp 中找到,还有 /var 文件系统树的某些部分)的卓越的文件系统。

三、使用 tmpfs
为了使用 tmpfs,您所需要的就是启用了“Virtual memory file system support(以前是 shm fs)”选项的 2.4 系列内核;这个选项在内核配置选项的“File systems”部分。一旦您有了一个启用了 tmpfs 的内核,您就可以开始安装 tmpfs 文件系统了。其实,在您所有的 2.4 内核中都打开 tmpfs 选项是个好主意,不管您是否计划使用 tmpfs。这是因为您需要内核 tmpfs 支持来使用 POSIX 共享的内存。然而, System V共享的内存不需要内核中有 tmpfs 就 可以工作。注意,您不需要为了让 POSIX 共享的内存工作而安装 tmpfs 文件系统;您只需要在内核中支持 tmpfs 就可以了。POSIX 共享的内存现在使用得不太多,但这种情况可能会随着时间而改变。

1、避免低 VM 情况
tmpfs 根据需要动态增大或减小的事实让人疑惑:如果您的 tmpfs 文件系统增大到它耗尽了 所有虚拟内存的程度,而您没有剩余的 RAM 或交换分区,这时会发生什么?一般来说,这种情况是有点讨厌。如果是 2.4.4 内核,内核会立即锁定。如果是 2.4.6 内核,VM 子系统已经以很多种方式得到了修正,虽然耗尽 VM 并不是一个美好的经历,事情也不会完全地失败。如果 2.4.6 内核到了无法分配更多 VM 的程度,您显然不愿意不能向 tmpfs 文件系统写任何新数据。另外,可能会发生其他一些事情。首先,系统的其他一些进程会无法分配更多的内存;通常,这意味着系统多半会变得 极度缓慢而且几乎没有响应。这样,超级用户要采取必要的步骤来缓解这种低 VM 的情况就会很困难,或异常地耗时。
另外,内核有一个内建的最终防线系统,用来在没有可用内存的时候释放内存,它会找到占用 VM 资源的进程并终止该进程。不幸的是,这种“终止进程”的解决方案在 tmpfs 的使用增加引起 VM 耗尽的情况下通常会导致不良后果。
以下是原因。tmpfs 本身不能(也不应该)被终止,因为它是内核的一部分而非一个用户进程,而且也没有容易的方法可以让内核找出是那个进程占满了 tmpfs 文件系统。 所以,内核会错误地攻击它能找到的最大的占用 VM 的进程,通常会是 X 服务器(X server),如果您碰巧在使用它。所以,您的 X 服务器会被终止,而引起低 VM 情况的根本原因(tmpfs)却没有被解决。

2、低 VM:解决方案
幸运的是,tmpfs 允许您在安装或重新安装文件系统的时候指定文件系统容量的最大值上限。实际上,从 2.4.6 内核到 2.11g 内核,这些参数只能在 安装时设置,而不是重新安装时,但我们可以期望在不久的将来可以在重新安装时设置这些参数。tmpfs 容量最大值的最佳设置依赖于资源和您特定的 Linux 主机的使用模式;这个想法是要防止一个完全使用资源的 tmpfs 文件系统耗尽所有虚拟内存结果导致我们前面谈到的糟糕的低 VM 情况。寻找好的 tmpfs 上限值的一个好方法是使用 top 来监控您系统的交换分区在高峰使用阶段的使用情况。然后,确保指定的 tmpfs 上限稍小于所有这些高峰使用时间内空闲交换分区和空闲 RAM 的总和。
创建有最大容量的 tmpfs 文件系统很容易。要创建一个新的最大 32 MB 的 tmpfs 文件系统,请键入:

# mount tmpfs /dev/shm -t tmpfs -o size=32m

这次,我们没有把 tmpfs 文件系统安装在 /mnt/tmpfs,而是创建在 /dev/shm,这正好是 tmpfs 文件系统的“正式”安装点。如果您正好在使用 devfs,您会发现这个目录已经为您创建好了。
还有,如果我们想将文件系统的容量限制在 512 KB 或 1 GB 以内,我们可以分别指定 size=512k 和 size=1g 。除了限制容量,我们还可以通过指定 nr_inodes=x 参数限制索引节点(文件系统对象)。在使用 nr_inodes 时, x 可以是一个简单的整数,后面还可以跟一个 k 、 m 或 g 指定千、百万或十亿(!)个索引节点。
而且,如果您想把上面的 mount tmpfs 命令的等价功能添加到 /etc/fstab,应该是这样:

引用

tmpfs  /dev/shm  tmpfs  size=32m  0  0
四、在现存的安装点上安装
在以前使用 2.2 的时候,试图在 已经安装了东西的安装点再次安装任何东西都会引发错误。然而,重写后的内核安装代码使多次使用安装点不再成为问题。这里是一个示例的情况:
假设我们有一个现存的文件系统安装在 /tmp。然而,我们决定要开始使用 tmpfs 进行 /tmp 的存储。过去,您唯一的选择就是卸载 /tmp 并在其位置重新安装您新的 tmpfs/tmp 文件系统,如下所示:

#  umount /tmp
#  mount tmpfs /tmp -t tmpfs -o size=64m

可是,这种解决方案也许对您不管用。可能有很多正在运行的进程在 /tmp 中有打开的文件;如果是这样,在试图卸载 /tmp 时,您就会遇到如下的错误:

引用

umount: /tmp: device is busy
然而,使用最近的 2.4 内核,您可以安装您新的 /tmp 文件系统,而不会遇到“device is busy”错误:

# mount tmpfs /tmp -t tmpfs -o size=64m

用一条命令,您新的 tmpfs /tmp 文件系统就被安装在 /tmp,并安装在已经安装的不能再被直接访问的分区 之上。然而,虽然您不能访问原来的 /tmp,任何在原文件系统上还有打开文件的进程都可以继续访问它们。而且,如果您 unmount 基于 tmpfs 的 /tmp,原来安装的 /tmp 文件系统会重新出现。实际上,您在相同的安装点上可以安装任意数目的文件系统,安装点就象一个堆栈;卸载当前的文件系统,上一个最近安装的文件系统就会重新出现。

五、绑定安装
使用绑定安装,我们可以将所有甚至 部分已经安装的文件系统安装到另一个位置,而在两个安装点可以同时访问该文件系统。例如,您可以使用绑定安装来安装您现存的根文件系统到 /home/drobbins/nifty,如下所示:

#  mount –bind / /home/drobbins/nifty

现在,如果您观察 /home/drobbins/nifty 的内部,您就会看到您的根文件系统(/home/drobbins/nifty/etc、/home/drobbins/nifty/opt 等)。而且,如果您在根文件系统修改文件,您在 /home/drobbins/nifty 中也可以看到所作的改动。这是因为它们是同一个文件系统;内核只是简单地为我们将该文件系统映射到两个不同的安装点。
注意,当您在另一处安装文件系统时,任何安装在绑定安装文件系统 内部的安装点的文件系统都不会随之移动。 换 句话说,如果您在单独的文件系统上有 /usr(即单独的分区或挂载点),我们前面执行的绑定安装就会让 /home/drobbins/nifty/usr 为空。您会需要附加的绑定安装命令来使您能够浏览位于 /home/drobbins/nifty/usr 的 /usr 的内容:

#  mount –bind /usr /home/drobbins/nifty/usr

绑定安装部分文件系统
绑定安装让更妙的事情成为可能。假设您有一个 tmpfs 文件系统安装在它的传统位置 /dev/shm,您决定要开始在当前位于根文件系统的 /tmp 使用 tmpfs。虽然可以在 /tmp(这是可能的)安装一个新的 tmpfs 文件系统,您也可以决定让新的 /tmp 共享当前安装的 /dev/shm 文件系统。然而,虽然您可以在 /tmp 绑定安装 /dev/shm 就完成了,但您的 /dev/shm 还包含一些您不想在 /tmp 出现的目录。所以,您怎么做呢?这样如何:

# mkdir /dev/shm/tmp
# chmod 1777 /dev/shm/tmp
# mount –bind /dev/shm/tmp /tmp

在这个示例中,我们首先创建了一个 /dev/shm/tmp 目录,然后给它 1777 权限,对 /tmp 适当的许可。既然我们的目录已经准备好了,我们可以安装,也只能安装 /dev/shm/tmp 到 /tmp。所以,虽然 /tmp/foo 会映射到 /dev/shm/tmp/foo,但您没有办法从 /tmp 访问 /dev/shm/bar 文件。
正如您所见,绑定安装非常强大,让您可以轻易地修改文件系统设计,丝毫不必忙乱。

、关联文章
巧用tmpfs加速你的linux服务器

 

RedHat Linux Enterprise 5.3 x64 filemon

http://bbs.chinaunix.net/viewthread.php?tid=1662054

[root@localhost ~ ]# lsof--help

[root@b2cbbstest Desktop]# lsof --help
lsof: illegal option character: -
lsof: illegal option character: e
lsof: no process ID specified
lsof 4.78
 latest revision: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/
 latest FAQ: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ
 latest man page: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/lsof_man
 usage: [-?abhlnNoOPRstUvVX] [+|-c c] [+|-d s] [+D D] [+|-f]
 [-F [f]] [-g [s]] [-i [i]] [+|-L [l]] [+m [m]] [+|-M] [-o [o]]
 [-p s] [+|-r [t]] [-S [t]] [-T [t]] [-u s] [+|-w] [-x [fl]] [-Z [Z]] [--] [names]
Defaults in parentheses; comma-separated set (s) items; dash-separated ranges.
  -?|-h list help          -a AND selections (OR)     -b avoid kernel blocks
  -c c  cmd c, /c/[bix]    +c w  COMMAND width (9)    
  +d s  dir s files        -d s  select by FD set     +D D  dir D tree *SLOW?*
                           -i select IPv[46] files    -l list UID numbers
  -n no host names         -N select NFS files        -o list file offset
  -O avoid overhead *RISK  -P no port names           -R list paRent PID
  -s list file size        -t terse listing           -T disable TCP/TPI info
  -U select Unix socket    -v list version info       -V verbose search
  +|-w  Warnings (+)       -X skip TCP&UDP files      -Z Z  context [Z]
  -- end option scan
  +f|-f  +filesystem or -file names  
  -F [f] select fields; -F? for help 
  +|-L [l] list (+) suppress (-) link counts < l (0 = all; default = 0)
                                        +m [m] use|create mount supplement
  +|-M   portMap registration (-)       -o o   o 0t offset digits (8)
  -p s   exclude(^)|select PIDs         -S [t] t second stat timeout (15)
  -T qs TCP/TPI Q,St (s) info
  -g [s] exclude(^)|select and print process group IDs
  -i i   select by IPv[46] address: [46][proto][@host|addr][:svc_list|port_list]
  +|-r [t] repeat every t seconds (15); + until no files, - forever
  -u s   exclude(^)|select login|UID set s
  -x [fl] cross over +d|+D File systems or symbolic Links
  names  select named files or files on named file systems
Anyone can list all files; /dev warnings disabled; kernel ID check disabled.

 

 

end

分享到:
评论

相关推荐

    OS + Linux Disk disk lvm / disk partition / disk mount / disk io

    标题 "OS + Linux Disk: 磁盘管理详解——LVM、分区、挂载与I/O" 提到的是Linux系统中的磁盘管理核心概念,主要包括逻辑卷管理(LVM)、磁盘分区、磁盘挂载以及磁盘I/O。下面将详细解释这些主题。 **逻辑卷管理...

    windows原生支持EXT2/EXT3,XFS,Reiserfs,ufs,ffs文件系统插件

    通过对Windows 2000/2003/XP提供对EXT2/EXT3,XFS,Reiserfs文件系统的原生支持,Windows用户能方便地访问Linux分区的数据,并提供本地磁盘级性能。对windows下访问Linux文件有极大帮助。 用法参见:...

    Linux7扩容根分区(LVM+非LVM).docx

    Linux 7 扩容根分区(LVM+非 LVM) Linux 7 扩容根分区是指在 Linux 7 操作系统中扩展根分区的大小,以满足存储需求。在本文中,我们将介绍使用 LVM(Logical Volume Manager)和非 LVM 两种方法来扩容根分区。 使用...

    xfs文件系统lvm根分区扩容

    ### XFS 文件系统 LVM 根分区扩容详解 #### 一、引言 在服务器运维过程中,随着数据量的增长或应用需求的变化,经常会遇到需要扩展文件系统存储空间的情况。Linux 系统中提供了多种文件系统类型,其中 XFS 作为一...

    XFS_setup_302

    XFS是一种高性能、可扩展的文件系统,广泛用于Linux操作系统,尤其在大数据处理和企业级存储解决方案中。这个名为“XFS_setup_302”的压缩包可能包含了用于安装或配置XFS文件系统的工具或者指南。 XFS文件系统最初...

    openfiler作为文件服务器,windows、linux挂载NFS实现共享,以及windows、linux实现SMB/CIFS

    Openfiler是一款基于Linux的网络存储管理系统,它可以被用作文件服务器,提供多种网络文件共享协议,如NFS (Network File System)和SMB/CIFS (Server Message Block/Common Internet File System),以实现Windows和...

    linux搭建nfs和ramdisk文件系统定义.pdf

    常见的文件系统有 Ext2、Ext3、Ext4、XFS 等。在 Linux 中,文件系统可以分为两类:磁盘文件系统和内存文件系统。本文主要介绍如何搭建 NFS 文件系统和 Ramdisk 文件系统。 2. NFS 文件系统 NFS(Network File ...

    RS Linux Recovery 1.8 Multilingual.rar

    RS Linux Recovery specially designed to work with file systems Ext2/3/4, ReiserFS, XFS, UFS. The program allows you to access both existing and deleted files and packages of Linux, Unix, FreeBSD, ...

    Linux中对lvm逻辑卷分区大小的调整教程(针对xfs与ext4不同文件系统)

    本教程将详细介绍如何在Linux中调整使用LVM的逻辑卷分区大小,特别是针对XFS和EXT4这两种常见的文件系统。 首先,我们要了解LVM的基本概念。LVM由物理卷(PV)、卷组(VG)和逻辑卷(LV)组成。物理卷是实际的硬盘...

    Diebold XTG, WOSA/XFS(CEN/XFS)测试工具, 开发ATM软件必备

    因为SP的接口是统一的,所以我们会看到很多厂家提供的有XFS测试工具,能够测试多个厂家的SP,比如Wincor的WosaTest,Diebold的XTG等,这些工具可以互换使用的,反正接口都是符合一个标准的。

    xfs-ext4.txt.txt

    本文基于kernel4.19.67版本分析。 基于如下命令完成写测试 time dd if=/dev/zero of=./test....h)xfs比ext4快的原因是因为xfs申请的内存页是连续的页,DMA可以更快运行,但是ext4没有保证,所以xfs比ext4明显快。

    解决Linux虚拟机 devmapper rhel-root爆满问题.docx

    解决Linux虚拟机 devmapper rhel-root爆满问题 本文主要讲解了解决 Linux 虚拟机中 /dev/mapper/rhel-root 爆满问题的步骤。首先,使用 df -h 命令查看磁盘使用情况,发现 /dev/mapper/rhel-root 使用接近爆满状态...

    linux 系统EXT3修复工具

    Linux系统EXT3修复工具是针对Linux环境中广泛使用的EXT3文件系统的故障排查和恢复工具。EXT3,全称为“Third Extended File System”,是Linux系统的一种日志文件系统,它在90年代末期由Hans Reiser开发并逐渐成为...

    CEN/XFS(WOSA) SP测试工具(All in One)

    CEN/XFS(WOSA,也称为XFS标准)是一种国际标准,全称为“欧洲计算机制造商协会/金融服务接口”,它定义了应用软件与银行自助设备(如ATM机、存款机、现金处理设备等)硬件之间的接口。这个标准使得不同厂商的硬件...

    能在windows下读取linux分区ext2ifs

    通常,Linux系统使用的是诸如EXT2、EXT3或EXT4等文件系统,这些在Windows环境下是不被原生支持的。`ext2ifs`(EXT2 File System for Windows)就是这样一个工具,它允许Windows用户直接挂载和操作Linux的EXT2文件...

    Linux LVM进行分区扩容

    在Linux系统中,LVM(Logical Volume Manager)是一种先进的磁盘管理工具,它允许系统管理员动态地调整磁盘分区的大小。在CentOS 7.0中,如果系统根目录`/`的空间不足,可以利用LVM进行扩容,以解决存储空间紧张的...

    centos7_XFS_报Corruption of in-memory data detected错误.docx

    在Linux系统中,CentOS 7使用XFS文件系统可能会遇到一种特定的错误:“Corruption of in-memory data detected”。这个错误通常表示系统检测到了内存中的数据损坏,这可能是因为不正常关机、硬件故障或者软件问题...

Global site tag (gtag.js) - Google Analytics