- 浏览: 271881 次
- 来自: 广州
最新评论
-
cloudmail:
http://blog.csdn.net/zhang_red/ ...
awk合并行、linux shell 字符串操作、sed字符替换 -
cloudmail:
逐行读取文件时支持读取以空格开头的内容:IFS="& ...
awk合并行、linux shell 字符串操作、sed字符替换 -
cloudmail:
sina返回的结果:[{"url_short&quo ...
PHP调用t.cn新浪短网址服务API(JSON版) -
cloudmail:
http://www.dwz.cn/http://help.b ...
PHP调用t.cn新浪短网址服务API(JSON版) -
cloudmail:
for i in {1..2000}; do wget -O ...
PHP调用t.cn新浪短网址服务API(JSON版)
select()系统调用提供一个机制来实现同步多元I/O:
|
调用select()将阻塞,直到指定的文件描述符准备好执行I/O,或者可选参数timeout指定的时间已经过去。
监视的文件描述符分为三类set,每一种对应等待不同的事件。readfds中列出的文件描述符被监视是否有数据可供读取(如果读取操作完成则不会阻塞)。writefds中列出的文件描述符则被监视是否写入操作完成而不阻塞。最后,exceptfds中列出的文件描述符则被监视是否发生异常,或者无法控制的数据是否可用(这些状态仅仅应用于套接字)。这三类set可以是NULL,这种情况下select()不监视这一类事件。
select()成功返回时,每组set都被修改以使它只包含准备好I/O的文件描述符。例如,假设有两个文件描述符,值分别是7和9,被放在readfds中。当select()返回时,如果7仍然在set中,则这个文件描述符已经准备好被读取而不会阻塞。如果9已经不在set中,则读取它将可能会阻塞(我说可能是因为数据可能正好在select返回后就可用,这种情况下,下一次调用select()将返回文件描述符准备好读取)。
第一个参数n,等于所有set中最大的那个文件描述符的值加1。因此,select()的调用者负责检查哪个文件描述符拥有最大值,并且把这个值加1再传递给第一个参数。
timeout参数是一个指向timeval结构体的指针,timeval定义如下:
#include <sys/time.h> struct timeval { long tv_sec; /* seconds */ long tv_usec; /* 10E-6 second */ }; |
如果这个参数不是NULL,则即使没有文件描述符准备好I/O,select()也会在经过tv_sec秒和tv_usec微秒后返回。当select()返回时,timeout参数的状态在不同的系统中是未定义的,因此每次调用select()之前必须重新初始化timeout和文件描述符set。实际上,当前版本的Linux会自动修改timeout参数,设置它的值为剩余时间。因此,如果timeout被设置为5秒,然后在文件描述符准备好之前经过了3秒,则这一次调用select()返回时tv_sec将变为2。
如果timeout中的两个值都设置为0,则调用select()将立即返回,报告调用时所有未决的事件,但不等待任何随后的事件。
文件描述符set不会直接操作,一般使用几个助手宏来管理。这允许Unix系统以自己喜欢的方式来实现文件描述符set。但大多数系统都简单地实现set为位数组。FD_ZERO移除指定set中的所有文件描述符。每一次调用select()之前都应该先调用它。
fd_set writefds;
FD_ZERO(&writefds);
FD_SET添加一个文件描述符到指定的set中,FD_CLR则从指定的set中移除一个文件描述符:
FD_SET(fd, &writefds); /* add 'fd' to the set */
FD_CLR(fd, &writefds); /* oops, remove 'fd' from the set */
设计良好的代码应该永远不使用FD_CLR,而且实际情况中它也确实很少被使用。
FD_ISSET测试一个文件描述符是否指定set的一部分。如果文件描述符在set中则返回一个非0整数,不在则返回0。FD_ISSET在调用select()返回之后使用,测试指定的文件描述符是否准备好相关动作:
if (FD_ISSET(fd, &readfds))
/* 'fd' is readable without blocking! */
因为文件描述符set是静态创建的,它们对文件描述符的最大数目强加了一个限制,能够放进set中的最大文件描述符的值由FD_SETSIZE指定。在Linux中,这个值是1024。本章后面我们还将看到这个限制的衍生物。
返回值和错误代码
select()成功时返回准备好I/O的文件描述符数目,包括所有三个set。如果提供了timeout,返回值可能是0;错误时返回-1,并且设置errno为下面几个值之一:
EBADF
给某个set提供了无效文件描述符。
EINTR
等待时捕获到信号,可以重新发起调用。
EINVAL
参数n为负数,或者指定的timeout非法。
ENOMEM
不够可用内存来完成请求。
--------------------------------------------------------------------------------------------------------------
poll()系统调用是System V的多元I/O解决方案。它解决了select()的几个不足,尽管select()仍然经常使用(多数还是出于习惯,或者打着可移植的名义):
#include <sys/poll.h> int poll (struct pollfd *fds, unsigned int nfds, int timeout); |
和select()不一样,poll()没有使用低效的三个基于位的文件描述符set,而是采用了一个单独的结构体pollfd数组,由fds指针指向这个组。pollfd结构体定义如下:
#include <sys/poll.h> struct pollfd { int fd; /* file descriptor */ short events; /* requested events to watch */ short revents; /* returned events witnessed */ }; |
每一个pollfd结构体指定了一个被监视的文件描述符,可以传递多个结构体,指示poll()监视多个文件描述符。每个结构体的events域是监视该文件描述符的事件掩码,由用户来设置这个域。revents域是文件描述符的操作结果事件掩码。内核在调用返回时设置这个域。events域中请求的任何事件都可能在revents域中返回。合法的事件如下:
POLLIN
有数据可读。
POLLRDNORM
有普通数据可读。
POLLRDBAND
有优先数据可读。
POLLPRI
有紧迫数据可读。
POLLOUT
写数据不会导致阻塞。
POLLWRNORM
写普通数据不会导致阻塞。
POLLWRBAND
写优先数据不会导致阻塞。
POLLMSG
SIGPOLL消息可用。
此外,revents域中还可能返回下列事件:
POLLER
指定的文件描述符发生错误。
POLLHUP
指定的文件描述符挂起事件。
POLLNVAL
指定的文件描述符非法。
这些事件在events域中无意义,因为它们在合适的时候总是会从revents中返回。使用poll()和select()不一样,你不需要显式地请求异常情况报告。
POLLIN | POLLPRI等价于select()的读事件,POLLOUT | POLLWRBAND等价于select()的写事件。POLLIN等价于POLLRDNORM | POLLRDBAND,而POLLOUT则等价于POLLWRNORM。
例如,要同时监视一个文件描述符是否可读和可写,我们可以设置events为POLLIN | POLLOUT。在poll返回时,我们可以检查revents中的标志,对应于文件描述符请求的events结构体。如果POLLIN事件被设置,则文件描述符可以被读取而不阻塞。如果POLLOUT被设置,则文件描述符可以写入而不导致阻塞。这些标志并不是互斥的:它们可能被同时设置,表示这个文件描述符的读取和写入操作都会正常返回而不阻塞。
timeout参数指定等待的毫秒数,无论I/O是否准备好,poll都会返回。timeout指定为负数值表示无限超时;timeout为0指示poll调用立即返回并列出准备好I/O的文件描述符,但并不等待其它的事件。这种情况下,poll()就像它的名字那样,一旦选举出来,立即返回。
返回值和错误代码
成功时,poll()返回结构体中revents域不为0的文件描述符个数;如果在超时前没有任何事件发生,poll()返回0;失败时,poll()返回-1,并设置errno为下列值之一:
EBADF
一个或多个结构体中指定的文件描述符无效。
EFAULT
fds指针指向的地址超出进程的地址空间。
EINTR
请求的事件之前产生一个信号,调用可以重新发起。
EINVAL
nfds参数超出PLIMIT_NOFILE值。
ENOMEM
可用内存不足,无法完成请求。
--------------------------------------------------------------------------------------------------------------
以上内容来自《OReilly.Linux.System.Programming - Talking.Directly.to.the.Kernel.and.C.Library.2007》
--------------------------------------------------------------------------------------------------------------
epoll的优点:
1.支持一个进程打开大数目的socket描述符(FD)
select 最不能忍受的是一个进程所打开的FD是有一定限制的,由FD_SETSIZE设置,默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核,不过资料也同时指出这样会带来网络效率的下降,二是可以选择多进程的解决方案(传统的 Apache方案),不过虽然linux上面创建进程的代价比较小,但仍旧是不可忽视的,加上进程间数据同步远比不上线程间同步的高效,所以也不是一种完美的方案。不过 epoll则没有这个限制,它所支持的FD上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右,具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。
2.IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,不过由于网络延时,任一时间只有部分的socket是"活跃"的,但是select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降。但是epoll不存在这个问题,它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么,只有"活跃"的socket才会主动的去调用 callback函数,其他idle状态socket则不会,在这点上,epoll实现了一个"伪"AIO,因为这时候推动力在os内核。在一些 benchmark中,如果所有的socket基本上都是活跃的---比如一个高速LAN环境,epoll并不比select/poll有什么效率,相反,如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。
3.使用mmap加速内核与用户空间的消息传递。
这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存拷贝就很重要,在这点上,epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话,一定不会忘记手工 mmap这一步的。
4.内核微调
这一点其实不算epoll的优点了,而是整个linux平台的优点。也许你可以怀疑linux平台,但是你无法回避linux平台赋予你微调内核的能力。比如,内核TCP/IP协议栈使用内存池管理sk_buff结构,那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度),也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。
文章出处:http://www.diybl.com/course/3_program/c++/cppsl/20081010/149888.html
转自:http://hi.baidu.com/makeittrue/blog/item/bb6ca4371b4941360b55a954.html
发表评论
-
使用dig查询dns解析
2017-03-06 17:22 0dig命令使用大全(linux上域名查询) Dig HOWT ... -
awk用法小结
2016-09-20 14:23 3531原文网址: http://www.cnblogs.com/ ... -
nginx内置预定义变量
2015-01-25 21:25 1024nginx的配置文件中可以使用的内置变量以美元符$开始,也有 ... -
awk合并行、linux shell 字符串操作、sed字符替换
2015-01-18 16:13 4263四行合一行 cat filename 111111 ... -
PHP调用t.cn新浪短网址服务API(JSON版)
2014-11-08 14:25 7923没什么好讲了,重要的地方我都在代码中注释了,主要是APP_ ... -
【转】How To Use Dropbox As An SVN Repository
2014-01-18 18:53 865How To Use Dropbox As An SVN R ... -
【转】时区简写及时间格式解析
2013-11-11 15:33 19771今天在解析CST时区时发现时间不对,原来使用的代码将CS ... -
C 语言执行 whois 查询
2013-06-28 11:09 1127http://www.binarytides.com/c-c ... -
在Redhat Linux上安装和使用subversion
2012-10-17 18:28 24091,安装: wget http://m ... -
【转】 使用 Bash 编写的 TCP 端口扫描器
2012-09-03 12:50 1350我突然有一个用 Bash 来编写 TCP 端口扫描器的想 ... -
Linux Shell实现"多进程"编程
2012-09-02 20:14 2397单进程模式代码: #!/bin/sh pl ... -
Perl使用Net::SMTP_auth认证发送邮件
2012-08-29 17:33 3177#!/usr/bin/perl -w # http:/ ... -
Perl使用Net::SMTP_auth认证发邮件
2012-08-29 17:28 1#!/usr/bin/perl -w # http: ... -
通过awk在Linux下打乱文件内容的顺序
2012-06-26 18:17 4938假设一个文件是已经排好序的,现随机抽取里面的部分。为了达到随机 ... -
EDM邮箱数据库设计
2012-06-13 18:06 29一,业务需求: 1) 分页获取某企业下的邮箱列表,按最 ... -
一步一步学PHP(1): Windows下配置Nginx + PHP开发环境
2012-05-21 23:22 27031,下载并安装nginx 1.1 下载地址:http://n ... -
MySQL导出指定表中的数据
2012-05-21 12:44 0MySQL导出指定表中的数据 要求: 1. ... -
用shell脚本实现递归创建目录
2012-05-09 17:19 6020用shell脚本实现递归创建目录,相当于mkdir -p /t ... -
ALPHA、BETA、RC、GA版本的区别
2012-05-08 13:04 1115Alpha:是内部测试版, ... -
在RHEL5 源码编译安装MySQL 5.5.23
2012-05-04 14:43 15241.安装前装备 1.1已经安装gcc(gcc-c++) ...
相关推荐
下面文章在这段时间内研究 select/poll/epoll的内核实现的一点心得体会: select,poll,epoll都是多路复用IO的函数,简单说就是在一个线程里,可以同时处理多个文件描述符的读写。 select/poll的实现很类似,epoll...
在Linux系统中,当面临需要同时管理大量网络连接或文件描述符时,`select`、`poll`和`epoll`是三种常见的I/O多路复用技术,它们允许程序在一个单独的线程中等待多个文件描述符的事件,提高了程序的效率和并发能力。...
linux中 epoll poll 和select的区别
高性能网络设计-网络编程(网络io与select、poll、epoll,reactor原理与实现、http服务器实现、websocket协议与服务器实现)与网络原理(服务器百万并发,网络协议栈,UDP可靠传输协议QUIC),协程框架NtyCo的实现....
Linux系统编程——I/O多路复用select、poll、epoll的区别使用,相关教程如下: http://blog.csdn.net/tennysonsky/article/details/45745887
无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存拷贝就很重要,在这点上,epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话,一定...
它主要涉及到TCP/UDP协议以及select/poll/epoll等多路复用技术。 TCP/UDP协议是网络通信的基础,其中TCP协议提供面向连接的可靠数据传输,而UDP协议则提供无连接的不可靠数据传输。在Linux网络编程中,开发者需要...
select poll epoll 代码实例
为此,Linux提供了多种多路复用技术,包括select、poll和epoll,它们各自拥有独特的内部机制,以满足不同场景下的需求。 #### 二、等待队列实现原理 等待队列是Linux内核中用于处理进程阻塞和唤醒的重要数据结构。...
poll:和select几乎没有区别,区别在于文件描述符的存储方式不同,poll采用链表的方式存储,没有最大存储数量的限制; epollepoll底层通过红黑树来描述,并维护一个ready list,将事件表中已经就绪的事件添加到这里...
根据提供的文件信息,本文将会深入分析poll和epoll两种I/O多路复用技术的源码,并且阐述其工作原理及效率差异。 首先,poll和epoll都是Linux系统中用于处理大量文件描述符(file descriptor,简称fd)的I/O多路复用...
通过对`poll`和`epoll`内核源码的深入分析,我们可以清楚地看到两者之间的区别以及各自的优缺点。`poll`虽然简单易用,但在处理大量文件描述符时效率较低。相比之下,`epoll`采用了更加高效的数据结构和事件处理机制...
`select`、`poll`和`epoll`是三种常见的I/O多路复用技术,用于高效地管理多个文件描述符(FDs)的读写就绪状态。本文件“Help to understand select, poll, epoll.pdf”旨在帮助开发者深入理解这些机制的工作原理,...
**二、select、poll、epoll的区别和特性** 1. **select**: - **优点**:跨平台性好,几乎在所有系统上都有支持。 - **缺点**:最大文件描述符数量有限制(通常是1024,可通过调整系统参数增加),且对大量文件...
为了高效地管理这些并发连接,程序员经常使用I/O复用技术,其中"select"、"poll"和"epoll"是三种常见的机制。本文将深入探讨这三种方法,并通过实例分析它们的工作原理及其优缺点。 首先,`select`函数是最早被引入...
本文将深入探讨网络I/O的基本概念,以及select、poll和epoll这三种I/O多路复用机制,并通过实际代码示例展示其在服务器并发中的应用。 首先,理解网络I/O。在网络通信中,数据传输通常涉及发送(output)和接收...
本文将深入探讨四种常见的IO复用机制:`select`、`poll`、`epoll`和`kqueue`,并结合源码分析如何在实际项目中应用它们。我们将通过分析`service.cpp`(服务端)和`client.cpp`(客户端)来理解这些机制的工作原理。...
网络io的使用实例 1.阻塞 2.多线程 3.select 4.poll, 5.epoll