`
sealbird
  • 浏览: 586724 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Linux下的管道编程技术-dup函数和dup2函数

    博客分类:
  • C++
阅读更多
from [url]http://www.xxlinux.com/linux/article/development/soft/20071214/13347.html [/url]时间:2007-12-14 11:43:26  来源:Linux联盟收集整理  作者:
dup和dup2也是两个非常有用的调用,它们的作用都是用来复制一个文件的描述符。它们经常用来重定向进程的stdin、stdout和stderr。这两个函数的 原形如下:#include <unistd.h>    int dup( int oldfd );    int dup2( int oldfd, int targetfd )    利用函数dup,我们可以复制一个描述符。传给该函数一个既有的描述符,它就会返回一个新的描述符,这个新的描述符是传给它的描述符的拷贝。这意味着,这两个描述符共享同一个数据结构。例如,如果我们对一个文件描述符执行lseek操作,得到的第一个文件的位置和第二个是一样的。下面是用来说明dup函数使用方法的代码片段:
    int fd1, fd2;    ...fd2 = dup( fd1 );    需要注意的是,我们可以在调用fork之前建立一个描述符,这与调用dup建立描述符的效果是一样的,子进程也同样会收到一个复制出来的描述符。

    dup2函数跟dup函数相似,但dup2函数允许调用者规定一个有效描述符和目标描述符的id。dup2函数成功返回时,目标描述符(dup2函数的第二个参数)将变成源描述符(dup2函数的第一个参数)的复制品,换句话说,两个文件描述符现在都指向同一个文件,并且是函数第一个参数指向的文件。下面我们用一段代码加以说明:      int oldfd;    oldfd = open("app_log", (O_RDWR | O_CREATE), 0644 );    dup2( oldfd, 1 );    close( oldfd );    本例中,我们打开了一个新文件,称为“app_log”,并收到一个文件描述符,该描述符叫做fd1。我们调用dup2函数,参数为oldfd和1,这会导致用我们新打开的文件描述符替换掉由1代表的文件描述符(即stdout,因为标准输出文件的id为1)。任何写到stdout的东西,现在都将改为写入名为“app_log”的文件中。需要注意的是,dup2函数在复制了oldfd之后,会立即将其关闭,但不会关掉新近打开的文件描述符,因为文件描述符1现在也指向它。

    下面我们介绍一个更加深入的示例代码。回忆一下本文前面讲的命令行管道,在那里,我们将ls –1命令的标准输出作为标准输入连接到wc –l命令。接下来,我们就用一个C程序来加以说明这个过程的实现。代码如下面的示例代码3所示。

    在示例代码3中,首先在第9行代码中建立一个管道,然后将应用程序分成两个进程:一个子进程(第13–16行)和一个父进程(第20–23行)。接下来,在子进程中首先关闭stdout描述符(第13行),然后提供了ls –1命令功能,不过它不是写到stdout(第13行),而是写到我们建立的管道的输入端,这是通过dup函数来完成重定向的。在第14行,使用dup2 函数把stdout重定向到管道(pfds[1])。之后,马上关掉管道的输入端。然后,使用execlp函数把子进程的映像替换为命令ls –1的进程映像,一旦该命令执行,它的任何输出都将发给管道的输入端。

    现在来研究一下管道的接收端。从代码中可以看出,管道的接收端是由父进程来担当的。首先关闭stdin描述符(第20行),因为我们不会从机器的键盘等标准设备文件来接收数据的输入,而是从其它程序的输出中接收数据。然后,再一次用到dup2函数(第21行),让stdin变成管道的输出端,这是通过让文件描述符0(即常规的stdin)等于pfds[0]来实现的。关闭管道的stdout端(pfds[1]),因为在这里用不到它。最后,使用 execlp函数把父进程的映像替换为命令wc -1的进程映像,命令wc -1把管道的内容作为它的输入(第23行)。
示例代码3:利用C实现命令的流水线操作的代码     1:       #include <stdio.h>     2:       #include <stdlib.h>     3:       #include <unistd.h>     4:     5:       int main()     6:       ...{     7:         int pfds[2];     8:     9:         if ( pipe(pfds) == 0 ) ...{     10:     11:           if ( fork() == 0 ) ...{     12:     13:             close(1);     14:             dup2( pfds[1], 1 );     15:             close( pfds[0] );     16:             execlp( "ls", "ls", "-1", NULL );     17:     18:           } else ...{     19:     20:             close(0);     21:             dup2( pfds[0], 0 );     22:             close( pfds[1] );     23:             execlp( "wc", "wc", "-l", NULL );     24:     25:           }     26:     27:         }     28:     29:         return 0;     30:       }
     在该程序中,需要格外关注的是,我们的子进程把它的输出重定向的管道的输入,然后,父进程将它的输入重定向到管道的输出。这在实际的应用程序开发中是非常有用的一种技术。
1. 文件描述符在内核中数据结构

    在具体说dup/dup2之前, 我认为有必要先了解一下文件描述符在内核中的形态。

一个进程在此存在期间,会有一些文件被打开,从而会返回一些文件描述符,从shell

中运行一个进程,默认会有3个文件描述符存在(0、1、2), 0与进程的标准输入相关联,

1与进程的标准输出相关联,2与进程的标准错误输出相关联,一个进程当前有哪些打开

的文件描述符可以通过/proc/进程ID/fd目录查看。 下图可以清楚的说明问题:


  进程表项
————————————————

   fd标志 文件指针
      _____________________
fd 0:|________|____________|------------> 文件表
fd 1:|________|____________|
fd 2:|________|____________|
fd 3:|________|____________|
     |     .......         |
     |_____________________|

                图1
       
文件表中包含:文件状态标志、当前文件偏移量、v节点指针,这些不是本文讨论的

重点,我们只需要知道每个打开的文件描述符(fd标志)在进程表中都有自己的文件表

项,由文件指针指向。

2. dup/dup2函数

APUE和man文档都用一句话简明的说出了这两个函数的作用:复制一个现存的文件描述符。

#include <unistd.h>

int dup(int oldfd);

int dup2(int oldfd, int newfd);

从图1来分析这个过程,当调用dup函数时,内核在进程中创建一个新的文件描述符,此

描述符是当前可用文件描述符的最小数值,这个文件描述符指向oldfd所拥有的文件表项。


  进程表项
————————————————

   fd标志 文件指针
      _____________________
fd 0:|________|____________|                   ______
fd 1:|________|____________|----------------> |      |
fd 2:|________|____________|                  |文件表|
fd 3:|________|____________|----------------> |______|
     |     .......         |
     |_____________________|

                图2:调用dup后的示意图

如图2 所示,假如oldfd的值为1, 当前文件描述符的最小值为3, 那么新描述符3指向

描述符1所拥有的文件表项。

dup2和dup的区别就是可以用newfd参数指定新描述符的数值,如果newfd已经打开,则

先将其关闭。如果newfd等于oldfd,则dup2返回newfd, 而不关闭它。dup2函数返回的新

文件描述符同样与参数oldfd共享同一文件表项。

APUE用另外一个种方法说明了这个问题:

实际上,调用dup(oldfd);

等效与
        fcntl(oldfd, F_DUPFD, 0)

而调用dup2(oldfd, newfd);

等效与
        close(oldfd);
        fcntl(oldfd, F_DUPFD, newfd);

3. CGI中dup2

写过CGI程序的人都清楚,当浏览器使用post方法提交表单数据时,CGI读数据是从标准

输入stdin, 写数据是写到标准输出stdout(c语言利用printf函数)。按照我们正常的理

解,printf的输出应该在终端显示,原来CGI程序使用dup2函数将STDOUT_FINLENO(这个

宏在unitstd.h定义,为1)这个文件描述符重定向到了连接套接字。

dup2(connfd, STDOUT_FILENO); /*实际情况还涉及到了管道,不是本文的重点*/

如第一节所说, 一个进程默认的文件描述符1(STDOUT_FILENO)是和标准输出stdout相

关联的,对于内核而言,所有打开的文件都通过文件描述符引用,而内核并不知道流的

存在(比如stdin、stdout),所以printf函数输出到stdout的数据最后都写到了文件描述

符1里面。至于文件描述符0、1、2与标准输入、标准输出、标准错误输出相关联,这

只是shell以及很多应用程序的惯例,而与内核无关。

用下面的流图可以说明问题:(ps: 虽然不是流图关系,但是还是有助于理解)

printf -> stdout -> STDOUT_FILENO(1) -> 终端(tty)

printf最后的输出到了终端设备,文件描述符1指向当前的终端可以这么理解:

STDOUT_FILENO = open("/dev/tty", O_RDWR);

使用dup2之后STDOUT_FILENO不再指向终端设备, 而是指向connfd, 所以printf的

输出最后写到了connfd。是不是很优美?:)

4. 如何在CGI程序的fork子进程中还原STDOUT_FILENO

如果你能看到这里,感谢你的耐心, 我知道很多人可能感觉有点复杂, 其实

复杂的问题就是一个个小问题的集合。所以弄清楚每个小问题就OK了,第三节中

说道,STDOUT_FILENO被重定向到了connfd套接字, 有时候我们可能想在CGI程序

中调用后台脚本执行,而这些脚本中难免会有一些输入输出, 我们知道fork之后,

子进程继承了父进程的所有文件描述符,所以这些脚本的输入输出并不会如我们愿

输出到终端设备,而是和connfd想关联了,这个显然会扰乱网页的输出。那么如何

恢复STDOUT_FILENO和终端关联呢?

方法1:在dup2之前保存原有的文件描述符,然后恢复。

代码实现如下:

savefd = dup(STDOUT_FILENO); /*savefd此时指向终端*/

dup2(connfd, STDOUT_FILENO);   /*STDOUT_FILENO(1) 被重新指向connfd*/

.....  /*处理一些事情*/

dup2(savefd, STDOUT_FILENO);  /*STDOUT_FILENO(1) 恢复指向savefd*/


很遗憾CGI程序无法使用这种方法, 因为dup2这些不是在CGI程序中完成的,而是在

web server中实现的,修改web server并不是个好主意。

方法2: 追本溯源,打开当前终端恢复STDOUT_FILENO。

分析第三节的流图, STDOUT_FILENO是如何和终端关联的? 我们重头做一遍不就行

了, 代码实现如下:

ttyfd = open("/dev/tty", O_RDWR);

dup2(ttyfd, STDOUT_FILENO);

close(ttyfd);

/dev/tty是程序运行所在的终端, 这个应该通过一种方法获得。实践证明这种方法

是可行的,但是我总感觉有些不妥,不知道为什么,可能一些潜在的问题还没出现。

目前我就想到这两种方法, 不知道你有什么好的想法? 有的话希望告诉我:)

分享到:
评论

相关推荐

    UNIX编程中的dup和dup2说明

    在UNIX 编程中,dup 和 dup2 函数经常用来实现进程间通信,例如在命令行管道中,使用 dup 函数和 dup2 函数来重定向进程的 stdin、stdout 和 stderr,以实现数据的传输和处理。 在命令行管道中, Dup 函数和 dup2 ...

    Linux实验八:LinuxC-编程-IO-重定向和管道.doc

    在Linux系统中,I/O重定向和管道是两种重要的进程间通信(IPC)方式,它们允许我们改变程序的标准输入、输出和错误流,或者在不同的进程中传递数据。本实验主要涵盖了这两个主题,通过编写和运行C语言程序来实践。 ...

    详细介绍dup2函数用法,一看必懂.。。。

    其中,`dup` 和 `dup2` 函数在处理文件描述符时非常有用。本文将深入探讨这两个函数的用途及其工作原理,特别是 `dup2` 的使用场景。 #### 二、文件描述符的概念 在Linux或Unix系统中,每个进程都会有一系列的文件...

    Linux编程技术-实验1 linux文件系统.doc

    这涉及到Linux下的文件打开、读取和写入操作,常用函数包括`open()`, `write()`, `read()`。 实验二: 此实验要求创建一个有读写权限的新文件,使用`dup()`, `dup2()`, `fcntl()`函数复制文件描述符,通过新的描述...

    linux系统编程笔记

    - dup和dup2函数用于复制文件描述符。 - select函数用于等待一组文件描述符中的任何一个变得可读、可写或发生异常。 - ioctl函数提供对设备的控制操作。 4. 文件目录及其I/O - 包含打开关闭文件、读写文件、...

    《linux编程技术》-实验2 .doc

    【实验2 - Linux 文件系统】本实验主要涵盖了Linux操作系统中文件系统的基本概念和操作,旨在帮助学生深入理解和熟练掌握文件系统的基本操作,并能将其应用于实际问题的解决。实验分为两个部分,分别涉及到文件的...

    《linux编程技术》-实验4.docx

    实验4是关于Linux编程技术中的进程间通信,主要涵盖了管道、信号、共享内存和消息队列等通信机制。这个实验旨在让学生理解和熟练应用这些机制,解决实际问题。 首先,我们要掌握的是匿名管道,它是简单且常用的进程...

    unix环境高级编程-函数原型.pdf

    UNIX环境高级编程是Linux和类Unix系统编程的核心,涵盖了操作系统级别编程的基础知识和技能。它不仅涉及到系统调用,还包括库函数的使用、进程间通信、信号处理、文件操作等多个方面。在UNIX编程中,函数原型是定义...

    Linux下c函数(全)

    "Linux下c函数(全)"这个主题涵盖了Linux环境中的C语言标准库和一些特定于Linux的系统调用。让我们深入探讨其中的一些关键知识点。 1. **C标准库函数**: - **输入/输出操作**:如`printf`和`scanf`用于格式化...

    dup_dup2介绍

    在Linux操作系统中,`dup`和`dup2`是两个重要的系统调用,它们与文件描述符管理和进程间通信紧密相关。本文将详细介绍这两个函数的工作原理、使用场景以及如何用C语言实现它们。 首先,我们来看`dup`系统调用。`dup...

    linux常用C函数.rar

    在Linux操作系统中,C语言是系统编程的基础,它提供了与硬件直接交互的能力,因此了解和掌握Linux下的常用C函数对于开发高效、稳定的系统级程序至关重要。这个“linux常用C函数.rar”压缩包很可能是包含了一些关于...

    Linux-system-functions.rar_linux_linux c++_system 函数

    9. **文件描述符操作**:`dup()`, `dup2()`, `fcntl()`等函数允许复制和修改文件描述符,以实现非阻塞I/O和I/O复用。 10. **线程(Threads)**:在Linux中,线程是通过NPTL(Native POSIX Threads Library)实现的...

    文件描述符的复制:dup()和dup2()示例代码

    理解并熟练运用`dup()`和`dup2()`对于进行Linux系统编程至关重要,它们是多进程和多线程环境下共享资源、同步数据的关键工具。在实际开发中,根据具体需求选择合适的方法复制文件描述符,能够使程序设计更加高效和...

    linux/unix系统编程手册附录代码

    《Linux/Unix系统编程手册》是一本深受程序员和系统管理员喜爱的经典著作,它详细阐述了在Linux和Unix操作系统上进行低级编程的各种技术。附录中的代码是书中的实例,旨在帮助读者深入理解和掌握这些系统编程的核心...

    linux C语言函数大全

    5. 进程间通信:`pipe`创建管道,`fork`和`dup`实现管道通信,`msg*`、`sem*`和`shm*`系列函数用于消息队列、信号量和共享内存。 6. 系统信息获取:`getpid`获取进程ID,`getppid`获取父进程ID,`getuid`和`geteuid...

    Linux应用编程和网络编程

    dup和dup2函数的原型分别为int dup(int oldfd)和int dup2(int oldfd, int newfd),作用是复制文件描述符oldfd到newfd,如果newfd已经打开,则先关闭newfd再复制。 6. 标准IO库介绍 文档最后介绍了标准IO库,它与...

    linux c 函数全集文档

    Linux C函数全集文档提供了全面的API函数和系统调用的详细信息,这对于Linux下的软件开发人员来说是一份极其宝贵的参考资料。下面我们将深入探讨这份文档可能包含的一些关键知识点。 1. **标准C库函数**: - 输入/...

    mruby-io-dup2:IO.dup2用于mruby

    `dup2`函数(在C语言标准库中)可以将一个已存在的文件描述符复制到另一个指定的文件描述符上,同时关闭原目标描述符,确保新旧两个描述符指向同一个打开的文件。 在mruby中,`IO.dup2`的使用场景可能包括: 1. **...

Global site tag (gtag.js) - Google Analytics