- 浏览: 407527 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
秦时明月黑:
深入浅出,楼主很有功底
hive编译部分的源码结构 -
tywo45:
感觉好多错误,但还是支持!
HDFS+MapReduce+Hive+HBase十分钟快速入门 -
xbbHistory:
解析的很棒!!
Linux-VFS -
darrendu:
执行这个命令,bin/hadoop fs -ls /home/ ...
Hadoop示例程序WordCount运行及详解 -
moudaen:
请问楼主,我执行总后一条语句时,执行的是自带的1.sql,你当 ...
TPC-H on Hive
从文件 I/O 看 Linux 的虚拟文件系统 |
级别: 中级 吴 美清 (yolanda_wumq@hotmail.com ), 研究生, 北京大学 软件与微电子学院 2007 年 8 月 23 日 Linux 允许众多不同的文件系统共存,并支持跨文件系统的文件操作,这是因为有虚拟文件系统的存在。虚拟文件系统,即VFS(Virtual File System)是 Linux 内核中的一个软件抽象层。它通过一些数据结构及其方法向实际的文件系统如 ext2,vfat 提供接口机制。本文在简要介绍 VFS 的相关数据结构后,以文件 I/O 为切入点深入 Linux 内核源代码,追踪了 sys_open 和 sys_read 两个系统调用的代码结构,并在追踪的过程中理清了跨文件系统的文件操作的基本原理和“一切皆是文件”的口号得以实现的根本。<!-- START RESERVED FOR FUTURE USE INCLUDE FILES--><!-- include java script once we verify teams wants to use this and it will work on dbcs and cyrillic characters --> <!-- END RESERVED FOR FUTURE USE INCLUDE FILES--> Linux 中允许众多不同的文件系统共存,如 ext2, ext3, vfat 等。通过使用同一套文件 I/O 系统 调用即可对 Linux 中的任意文件进行操作而无需考虑其所在的具体文件系统格式;更进一步,对文件的 操作可以跨文件系统而执行。如图 1 所示,我们可以使用 cp 命令从 vfat 文件系统格式的硬盘拷贝数据到 ext3 文件系统格式的硬盘;而这样的操作涉及到两个不同的文件系统。 图 1. 跨文件系统的文件操作
“一切皆是文件”是 Unix/Linux 的基本哲学之一。不仅普通的文件,目录、字符设备、块设备、 套接字等在 Unix/Linux 中都是以文件被对待;它们虽然类型不同,但是对其提供的却是同一套操作界面。 图 2. 一切皆是文件 而虚拟文件系统正是实现上述两点 Linux 特性的关键所在。虚拟文件系统(Virtual File System, 简称 VFS), 是 Linux 内核中的一个软件层,用于给用户空间的程序提供文件系统接口;同时,它也提供了内核中的一个 抽象功能,允许不同的文件系统共存。系统中所有的文件系统不但依赖 VFS 共存,而且也依靠 VFS 协同工作。 为了能够支持各种实际文件系统,VFS 定义了所有文件系统都支持的基本的、概念上的接口和数据 结构;同时实际文件系统也提供 VFS 所期望的抽象接口和数据结构,将自身的诸如文件、目录等概念在形式 上与VFS的定义保持一致。换句话说,一个实际的文件系统想要被 Linux 支持,就必须提供一个符合VFS标准 的接口,才能与 VFS 协同工作。实际文件系统在统一的接口和数据结构下隐藏了具体的实现细节,所以在VFS 层和内核的其他部分看来,所有文件系统都是相同的。图3显示了VFS在内核中与实际的文件系统的协同关系。 图3. VFS在内核中与其他的内核模块的协同关系 我们已经知道,正是由于在内核中引入了VFS,跨文件系统的文件操作才能实现,“一切皆是文件” 的口号才能承诺。而为什么引入了VFS,就能实现这两个特性呢?在接下来,我们将以这样的一个思路来切入 文章的正题:我们将先简要介绍下用以描述VFS模型的一些数据结构,总结出这些数据结构相互间的关系;然后 选择两个具有代表性的文件I/O操作sys_open()和sys_read()来详细说明内核是如何借助VFS和具体的文件系统打 交道以实现跨文件系统的文件操作和承诺“一切皆是文件”的口号。
从本质上讲,文件系统是特殊的数据分层存储结构,它包含文件、目录和相关的控制信息。为了描述 这个结构,Linux引入了一些基本概念: 文件 一组在逻辑上具有完整意义的信息项的系列。在Linux中,除了普通文件,其他诸如目录、设备、套接字等 也以文件被对待。总之,“一切皆文件”。 目录 目录好比一个文件夹,用来容纳相关文件。因为目录可以包含子目录,所以目录是可以层层嵌套,形成 文件路径。在Linux中,目录也是以一种特殊文件被对待的,所以用于文件的操作同样也可以用在目录上。 目录项 在一个文件路径中,路径中的每一部分都被称为目录项;如路径/home/source/helloworld.c中,目录 /, home, source和文件 helloworld.c都是一个目录项。 索引节点 用于存储文件的元数据的一个数据结构。文件的元数据,也就是文件的相关信息,和文件本身是两个不同 的概念。它包含的是诸如文件的大小、拥有者、创建时间、磁盘位置等和文件相关的信息。 超级块 用于存储文件系统的控制信息的数据结构。描述文件系统的状态、文件系统类型、大小、区块数、索引节 点数等,存放于磁盘的特定扇区中。 如上的几个概念在磁盘中的位置关系如图4所示。 图4. 磁盘与文件系统 关于文件系统的三个易混淆的概念: 创建 以某种方式格式化磁盘的过程就是在其之上建立一个文件系统的过程。创建文现系统时,会在磁盘的特定位置写入 关于该文件系统的控制信息。 注册 向内核报到,声明自己能被内核支持。一般在编译内核的时侯注册;也可以加载模块的方式手动注册。注册过程实 际上是将表示各实际文件系统的数据结构struct file_system_type 实例化。 安装 也就是我们熟悉的mount操作,将文件系统加入到Linux的根文件系统的目录树结构上;这样文件系统才能被访问。 VFS依靠四个主要的数据结构和一些辅助的数据结构来描述其结构信息,这些数据结构表现得就像是对象; 每个主要对象中都包含由操作函数表构成的操作对象,这些操作对象描述了内核针对这几个主要的对象可以进行的操作。 存储一个已安装的文件系统的控制信息,代表一个已安装的文件系统;每次一个实际的文件系统被安装时, 内核会从磁盘的特定位置读取一些控制信息来填充内存中的超级块对象。一个安装实例和一个超级块对象一一对应。 超级块通过其结构中的一个域s_type记录它所属的文件系统类型。 根据第三部分追踪源代码的需要,以下是对该超级块结构的部分相关成员域的描述,(如下同): 清单1. 超级块
索引节点对象存储了文件的相关信息,代表了存储设备上的一个实际的物理文件。当一个 文件首次被访问时,内核会在内存中组装相应的索引节点对象,以便向内核提供对一个文件进行操 作时所必需的全部信息;这些信息一部分存储在磁盘特定位置,另外一部分是在加载时动态填充的。 清单2. 索引节点
引入目录项的概念主要是出于方便查找文件的目的。一个路径的各个组成部分,不管是目录还是 普通的文件,都是一个目录项对象。如,在路径/home/source/test.c中,目录 /, home, source和文件 test.c都对应一个目录项对象。不同于前面的两个对象,目录项对象没有对应的磁盘数据结构,VFS在遍 历路径名的过程中现场将它们逐个地解析成目录项对象。 清单3. 目录项
文件对象是已打开的文件在内存中的表示,主要用于建立进程和磁盘上的文件的对应关系。它由sys_open() 现场创建,由sys_close()销毁。文件对象和物理文件的关系有点像进程和程序的关系一样。当我们站在用户空间来看 待VFS,我们像是只需与文件对象打交道,而无须关心超级块,索引节点或目录项。因为多个进程可以同时打开和操作 同一个文件,所以同一个文件也可能存在多个对应的文件对象。文件对象仅仅在进程观点上代表已经打开的文件,它 反过来指向目录项对象(反过来指向索引节点)。一个文件对应的文件对象可能不是惟一的,但是其对应的索引节点和 目录项对象无疑是惟一的。 清单4. 文件对象
根据文件系统所在的物理介质和数据在物理介质上的组织方式来区分不同的文件系统类型的。 file_system_type结构用于描述具体的文件系统的类型信息。被Linux支持的文件系统,都有且仅有一 个file_system_type结构而不管它有零个或多个实例被安装到系统中。 而与此对应的是每当一个文件系统被实际安装,就有一个vfsmount结构体被创建,这个结构体对应一个安装点。 清单5. 和文件系统相关
清单6. 打开的文件集
清单7. 辅助查找
如上的数据结构并不是孤立存在的。正是通过它们的有机联系,VFS才能正常工作。如下的几张图是对它们之间的联系的描述。 如图5所示,被Linux支持的文件系统,都有且仅有一个file_system_type结构而不管它有零个或多个实例被安装到系统 中。每安装一个文件系统,就对应有一个超级块和安装点。超级块通过它的一个域s_type指向其对应的具体的文件系统类型。具体的 文件系统通过file_system_type中的一个域fs_supers链接具有同一种文件类型的超级块。同一种文件系统类型的超级块通过域s_instances链 接。 图5. 超级块、安装点和具体的文件系统的关系 从图6可知:进程通过task_struct中的一个域files_struct files来了解它当前所打开的文件对象;而我们通常所说的文件 描述符其实是进程打开的文件对象数组的索引值。文件对象通过域f_dentry找到它对应的dentry对象,再由dentry对象的域d_inode找 到它对应的索引结点,这样就建立了文件对象与实际的物理文件的关联。最后,还有一点很重要的是, 文件对象所对应的文件操作函数 列表是通过索引结点的域i_fop得到的。图6对第三部分源码的理解起到很大的作用。 图6. 进程与超级块、文件、索引结点、目录项的关系
到目前为止,文章主要都是从理论上来讲述VFS的运行机制;接下来我们将深入源代码层中,通过阐述两个具有代表性的系统 调用sys_open()和sys_read()来更好地理解VFS向具体文件系统提供的接口机制。由于本文更关注的是文件操作的整个流程体制,所以我 们在追踪源代码时,对一些细节性的处理不予关心。又由于篇幅所限,只列出相关代码。本文中的源代码来自于linux-2.6.17内核版本。 在深入sys_open()和sys_read()之前,我们先概览下调用sys_read()的上下文。图7描述了从用户空间的read()调用到数据从 磁盘读出的整个流程。当在用户应用程序调用文件I/O read()操作时,系统调用sys_read()被激发,sys_read()找到文件所在的具体文件 系统,把控制权传给该文件系统,最后由具体文件系统与物理介质交互,从介质中读出数据。 图7. 从物理介质读数据的过程 sys_open()系统调用打开或创建一个文件,成功返回该文件的文件描述符。图8是sys_open()实现代码中主要的函数调用关系图。 图8. sys_open函数调用关系图 由于sys_open()的代码量大,函数调用关系复杂,以下主要是对该函数做整体的解析;而对其中的一些关键点,则列出其关键代码。 a. 从sys_open()的函数调用关系图可以看到,sys_open()在做了一些简单的参数检验后,就把接力棒传给do_sys_open(): 1)、首先,get_unused_fd()得到一个可用的文件描述符;通过该函数,可知文件描述符实质是进程打开文件列表中对应某个文件对象的索引值; 2)、接着,do_filp_open()打开文件,返回一个file对象,代表由该进程打开的一个文件;进程通过这样的一个数据结构对物理文件进行读写操作。 3)、最后,fd_install()建立文件描述符与file对象的联系,以后进程对文件的读写都是通过操纵该文件描述符而进行。 b. do_filp_open()用于打开文件,返回一个file对象;而打开之前需要先找到该文件: 1)、open_namei()用于根据文件路径名查找文件,借助一个持有路径信息的数据结构nameidata而进行; 2)、查找结束后将填充有路径信息的nameidata返回给接下来的函数nameidata_to_filp()从而得到最终的file对象;当达到目的后,nameidata这个数据结构将会马上被释放。 c.open_namei()用于查找一个文件: 1)、path_lookup_open()实现文件的查找功能;要打开的文件若不存在,还需要有一个新建的过程,则调用 path_lookup_create(),后者和前者封装的是同一个实际的路径查找函数,只是参数不一样,使它们在处理细节上有所偏差; 2)、当是以新建文件的方式打开文件时,即设置了O_CREAT标识时需要创建一个新的索引节点,代表创建一个文件。在vfs_create()里的一句 核心语句dir->i_op->create(dir, dentry, mode, nd)可知它调用了具体的文件系统所提供的创建索引节点的方法。注意:这边的索引节点的概念,还只是位于内存之中,它和磁盘上的物理的索引节点的关系就像 位于内存中和位于磁盘中的文件一样。此时新建的索引节点还不能完全标志一个物理文件的成功创建,只有当把索引节点回写到磁盘上才是一个物理文件的真正创 建。想想我们以新建的方式打开一个文件,对其读写但最终没有保存而关闭,则位于内存中的索引节点会经历从新建到消失的过程,而磁盘却始终不知道有人曾经想 过创建一个文件,这是因为索引节点没有回写的缘故。 3)、path_to_nameidata()填充nameidata数据结构; 4)、may_open()检查是否可以打开该文件;一些文件如链接文件和只有写权限的目录是不能被打开的,先检查 nd->dentry->inode所指的文件是否是这一类文件,是的话则错误返回。还有一些文件是不能以TRUNC的方式打开的,若 nd->dentry->inode所指的文件属于这一类,则显式地关闭TRUNC标志位。接着如果有以TRUNC方式打开文件的,则更新 nd->dentry->inode的信息 3.1.1__path_lookup_intent_open() 不管是path_lookup_open()还是path_lookup_create()最终都是调用 __path_lookup_intent_open()来实现查找文件的功能。 查找时,在遍历路径的过程中,会逐层地将各个路径组成部分解析成目录项对象,如果此目录项对象在目录项缓存中,则直接从缓存中获得;如果该目录项在缓存中 不存在,则进行一次实际的读盘操作,从磁盘中读取该目录项所对应的索引节点。得到索引节点后,则建立索引节点与该目录项的联系。如此循环,直到最终找到目 标文件对应的目录项,也就找到了索引节点,而由索引节点找到对应的超级块对象就可知道该文件所在的文件系统的类型。 从磁盘中读取该目录项所对应的索引节点;这将引发VFS和实际的文件系统的一次交互。从前面的VFS理论介绍可知,读索引节点方法是由超级块来提供的。而 当安装一个实际的文件系统时,在内存中创建的超级块的信息是由一个实际文件系统的相关信息来填充的,这里的相关信息就包括了实际文件系统所定义的超级块的 操作函数列表,当然也就包括了读索引节点的具体执行方式。 当继续追踪一个实际文件系统ext3的ext3_read_inode()时,可发现这个函数很重要的一个工作就是为不同的文件类型设置不同的索引节点操 作函数表和文件操作函数表。 清单8. ext3_read_inode
3.1.2 nameidata_to_filp子函数:__dentry_open 这是VFS与实际的文件系统联系的一个关键点。从3.1.1小节分析中可知,调用实际文件系统读取索引节点的方法读取索引节点时,实际文件系统会根据文件 的不同类型赋予索引节点不同的文件操作函数集,如普通文件有普通文件对应的一套操作函数,设备文件有设备文件对应的一套操作函数。这样当把对应的索引节点 的文件操作函数集赋予文件对象,以后对该文件进行操作时,比如读操作,VFS虽然对各种不同文件都是执行同一个read()操作界面,但是真正读时,内核 却知道怎么区分对待不同的文件类型。 清单9. __dentry_open
sys_read()系统调用用于从已打开的文件读取数据。如read成功,则返回读到的字节数。如已到达文件的尾端,则返回0。图9是sys_read()实现代码中的函数调用关系图。 图9. sys_read函数调用关系图 对文件进行读操作时,需要先打开它。从3.1小结可知,打开一个文件时,会在内存组装一个文件对象,希望对该文件执行的操作方法已在文件对象设置好。所以 对文件进行读操作时,VFS在做了一些简单的转换后(由文件描述符得到其对应的文件对象;其核心思想是返回 current->files->fd[fd]所指向的文件对象),就可以通过语句 file->f_op->read(file, buf, count, pos)轻松调用实际文件系统的相应方法对文件进行读操作了。
到此,我们也就能够解释在Linux中为什么能够跨文件系统地操作文件了。举个例子,将vfat格式的磁盘上的一个文件a.txt拷贝到ext3格式的磁 盘上,命名为b.txt。这包含两个过程,对a.txt进行读操作,对b.txt进行写操作。读写操作前,需要先打开文件。由前面的分析可知,打开文件 时,VFS会知道该文件对应的文件系统格式,以后操作该文件时,VFS会调用其对应的实际文件系统的操作方法。所以,VFS调用vfat的读文件方法将 a.txt的数据读入内存;在将a.txt在内存中的数据映射到b.txt对应的内存空间后,VFS调用ext3的写文件方法将b.txt写入磁盘;从而 实现了最终的跨文件系统的复制操作。 不论是普通的文件,还是特殊的目录、设备等,VFS都将它们同等看待成文件,通过同一套文件操作界面来对它们进行操作。操作文件时需先打开;打开文件 时,VFS会知道该文件对应的文件系统格式;当VFS把控制权传给实际的文件系统时,实际的文件系统再做出具体区分,对不同的文件类型执行不同的操作。这 也就是“一切皆是文件”的根本所在。
VFS即虚拟文件系统是Linux文件系统中的一个抽象软件层;因为它的支持,众多不同的实际文件系统才能在Linux中共存,跨文件系统操作才能实现。 VFS借助它四个主要的数据结构即超级块、索引节点、目录项和文件对象以及一些辅助的数据结构,向Linux中不管是普通的文件还是目录、设备、套接字等 都提供同样的操作界面,如打开、读写、关闭等。只有当把控制权传给实际的文件系统时,实际的文件系统才会做出区分,对不同的文件类型执行不同的操作。由此 可见,正是有了VFS的存在,跨文件系统操作才能执行,Unix/Linux中的“一切皆是文件”的口号才能够得以实现。 |
发表评论
-
如何查看那个进程开放了某个端口
2011-11-10 16:59 1008netstat -anp|grep psname -
linux的内存为什么总是占用率很高
2011-04-08 14:59 2013磁盘通常是计算机最慢 ... -
at命令
2011-01-25 15:37 907AT Time 中的时间表示方法 ------ ... -
批量杀进程
2011-01-25 15:33 967ps -ef|grep <进程名> |cut -c ... -
linux种普通用户加入ROOT组的方法
2010-12-12 15:24 11031linux种普通用户加入ROOT组的方法: 第1种方法: ... -
linux作业管理
2010-12-08 11:22 992进程的挂起及恢复命令bg、fg 作业控制允许将进 ... -
环境变量
2010-12-08 10:55 920查看环境变量: # env 追加: # PAT ... -
scp
2010-12-06 13:16 1233设有两机,均为局域网,两机可相互通信无问题,中间无防火墙。 ... -
source命令用法
2010-11-25 21:08 926source命令用法: source FileName ... -
新版本ant无法运行
2010-11-25 11:23 1206在centos上安装了新版本的ant,但系统依然运行旧版本(在 ... -
linux上使用netstat察看mysql端口和连接
2010-11-15 17:16 1719linux上使用netstat察看mysql端口和连接 近日 ... -
buffers和cache
2010-11-12 20:34 971在linux下使用free命令查看内存使用情况,有buffer ... -
linux crontab定时执行任务
2010-11-12 20:03 1089cron是一个linux下的定时执行工具,可以在无 ... -
linux free 参数详解
2010-11-12 15:22 1204Mem:表示物理内存统计 -/+ buffers/cach ... -
正则表达式
2010-09-16 13:14 826一个正则表达式就 ... -
linux下搭建cvs服务器
2010-08-13 17:00 881CVS是一种广泛应用的、开源的、透明于网络的版本控制系统。用户 ... -
linux下搭建cvs服务器
2010-08-13 16:55 794CVS是一种广泛应用的、开源的、透明于网络的版本控制系统。用户 ... -
linux man 手册各个章节的意义和用法
2010-06-28 15:44 7914Linux的man很强大,该手册分成很多section,使用m ... -
VNC怎么和宿主机共享粘贴板
2010-06-23 16:48 2529... -
查看linux发行版信息
2009-12-19 01:05 12481. uname -a 2. cat /proc ...
相关推荐
Linux虚拟文件系统(VFS,Virtual File System)是Linux内核的一个重要组成部分,它为不同的文件系统提供了一个统一的接口,使得用户空间的应用程序可以透明地访问各种类型的文件系统,无需关心具体文件系统的实现...
文件系统原生文档path-lookup翻译
linux文件系统中的虚拟文件系统的数据结构,自己总结的,希望对大家有所帮助。
离线安装包,亲测可用
Linux的虚拟文件系统(Virtual Filesystem Switch,简称VFS)是操作系统的核心组件之一,它为上层应用程序提供了一个统一的接口来访问各种不同类型的文件系统,如ext2、jffs等。VFS的设计目标是使得不同的文件系统...
4. **文件系统**:了解VFS(Virtual File System)如何抽象不同类型的文件系统,如EXT2、EXT3、FAT等,以及文件的读写操作。 5. **设备驱动**:探索如何编写和理解驱动程序,使硬件设备与操作系统交互。 6. **网络...
3. **fs**:文件系统相关的代码,包括VFS(虚拟文件系统),它允许Linux支持多种文件系统,如EXT2、FAT等。 4. **drivers**:驱动程序的集合,用于与硬件设备交互,如硬盘控制器、声卡、网卡等。 5. **kernel**:...
7. **安全性**:提供了加密选项,可以通过VFS(Virtual File System)层进行数据加密。 8. **API接口**:除了命令行工具,SQLite3还提供了C语言接口,方便开发者在应用程序中直接集成和操作数据库。 在Linux环境下...
- **VFS虚拟文件系统**: - `dup/dup2`:复制文件描述符。 #### 五、进程管理 - **进程环境**:描述进程运行时的环境配置。 - **进程状态**:包括运行态、就绪态、等待态等。 - **进程原语**: - `fork`:创建子...
还包括目录操作(mkdir、rmdir等)和虚拟文件系统(VFS)的相关知识。 7. 进程管理:进程是操作系统的核心概念之一,包括进程环境、进程状态、进程原语(如fork、exec族、wait/waitpid)以及进程间通信机制(如管道...
5. **kernel**:核心内核代码,包括进程管理、内存管理、调度算法、虚拟文件系统(VFS)等。 6. **mm**:内存管理模块,包括物理内存分配、虚拟内存管理、页面缓存等相关代码。 7. **net**:网络协议栈,包括TCP/...
VFS(Virtual File System)是Linux操作系统中至关重要的组成部分,它提供了一种抽象层,使得各种不同的文件系统能够共存并交互。通过VFS,Linux内核能够支持多种类型的文件系统,无需关心底层的具体实现。VFS的核心...
VFS是Linux内核提供的一种统一的接口,允许挂载多种文件系统。它为各种具体文件系统提供了一层抽象,使得程序无需关心底层存储的具体类型。2.6.21.5内核支持包括EXT3、EXT4、FAT、NFS等多种文件系统。 五、网络协议...
再往上,VFS(虚拟文件系统)层为Linux内核提供了一个通用的文件系统接口,它对上层应用隐藏了底层文件系统的具体实现细节,使得不同的文件系统可以兼容运行在Linux上。通过VFS,应用层的程序可以使用标准的文件操作...
7. **虚拟文件系统(VFS)**:VFS是Linux内核中一个重要的抽象层,它允许不同的文件系统共存并提供统一的接口。在`include/linux/fs.h`和`fs/vfs/`中,可以看到VFS的相关定义和实现。 8. **模块化设计**:Linux内核...
此外,还提供了虚拟文件系统(VFS)的概念,以支持多种不同的文件系统。 5. **网络协议栈**:在`net`目录下,可以找到网络协议栈的代码,包括TCP/IP协议的实现。这使得Linux能够支持网络通信,实现客户端和服务器...
8. **文件系统**:`fs`目录下的源代码展示了VFS(虚拟文件系统)的工作原理,它提供了一致的接口来访问不同的物理文件系统,如FAT和EXT。 9. **网络编程**:虽然Linux-0.11相对较旧,但其网络协议栈的实现仍能帮助...
内核的VFS(虚拟文件系统)层抽象了底层文件系统的差异,提供了统一的接口。 六、设备驱动 设备驱动是连接硬件设备与操作系统内核的桥梁。Linux内核支持大量的设备驱动,涵盖从简单的字符设备到复杂的网络设备。...