<Linux Kernel>eventepoll

首先介绍一下Epoll 主要需要3个级别的锁

 

 * 1) epmutex   互斥锁mutex

 * 2) ep->mtx   互斥锁mutex

 * 3) ep->lock   自旋锁spinlock

 

需要的顺序是从1-3 . 

 

1 ) 需要自旋锁 : 是因为我们掌管着 poll 回调方法内部的资源 , 这些资源的触发可能发生在中断上下文 的wake_up 中 所以呢我们不能再poll 回调方法里面睡眠 因此自旋吧~

 

 

2 ) 在事件传输的循环中(内核空间--> 用户空间) 我们可以中断睡眠由通过一个 copy_to_user, 所以我们需要一个允许我们睡眠的锁 ,这就是mutex啦 

 

3 ) 他在事件传输的循环中被需要, 在epoll_ctl(EPOLL_CTL_DEL) and during eventpoll_release_file()

 

然后呢,我们需要一个全局的mutex锁 ,来序列化 eventpoll_release_file()

 

 

举个例子 比如: ep_free().

ep_free() 需要这个锁 在epoll  file 清除的过程中 , 同样 eventpoll_release_file()也需要 : 比如以下情况

如果一个file 已经被压入 epoll 的集合里面 然后直接close 却没有通过poll_ctl(EPOLL_CTL_DEL).

 

 

 

最后放弃 ep->mux 而使用全局的 epmutex(和ep->lock 一起) 工作 也是可能的

 

但是 使用 ep->mtx 将使接口具有可扩展性 , 需要持有epmutex 的事件往往很稀少 , 然而 

对于一个一个普通的操作  ep->mutex 将保证良好的扩展性

 

 

 

 

 

* Maximum number of nesting allowed inside epoll sets */\
Epoll 集合允许的最大嵌套数
#define EP_MAX_NESTS 4
Epoll 监听的最多事件 (庞大到可以忽视)
#define EP_MAX_EVENTS (INT_MAX / sizeof(struct epoll_event))

 

 

 

 

 

 

我打算从系统调用入口开始分析 

 

/*
*这里的 SYSCALL_DEFINEx(name ,__VA_ARGS__)  其实就是通过一系列的宏变化 
*最后变成  asmlinkage long sys##name(__SC_DECL##x(__VA_ARGS__));
*这样是不是很眼熟了, 没错  "sys_xxx" linux Syscalls.h系统调用函数名的标准格式 直接
*对应unistd,h 中的调用号 , 直接对于 syscall(xx,xx) .. 不解释..
*/
SYSCALL_DEFINE1(epoll_create1, int, flags)
{
int error;
struct eventpoll *ep = NULL;
/*这里通过一个小技巧 ,能让编译的时候就发现代码开发过程中潜在的问题,而不是坐等*crash ,具体使用有各种不同的校验, 
*比如#define BUILD_BUG_ON(condition) ((void)sizeof(char[1 - 2*!!(condition)]))  如果条件*满足就直接char[-1] 哈哈*/
BUILD_BUG_ON(EPOLL_CLOEXEC != O_CLOEXEC);
/*如果没有设置 EPOLL_CLOEXEC)  就直接返回 -EINVAL给上层 */
if (flags & ~EPOLL_CLOEXEC)
return -EINVAL;
/*
 *创建一个内部用的数据结构 struct eventpoll 
 */
error = ep_alloc(&ep);
if (error < 0)
return error;
/*开始前的准备 建立一个struct file 和file  fd	 */
error = anon_inode_getfd("[eventpoll]", &eventpoll_fops, ep,
 O_RDWR | (flags & O_CLOEXEC));
if (error < 0)
ep_free(ep);
return error;
}

 

 

 

 

 

然后就开始看看上面2个没讲到的函数 和一个重要的数据结构

 

 

/*还记得struct file里面那个神奇的 private_data么, 现在它就用来指向eventpoll 不用我说就知道, 这个结构是整个epoll操作的外部接口*/
struct eventpoll {
/* Protect the this structure access 自旋锁保护这个内部数据结构*/
spinlock_t lock;
/*
 *这个互斥锁用来确保 file fd 在epoll 使用他们的时候不能被移出, 在
 *1 event 集合循环的时候 2 file fd清除过程中 3 epoll fd 退出和epoll_ctl操作
 */
struct mutex mtx;
/* sys_epoll_wait() 用的等待队列 */
wait_queue_head_t wq;
/* file->poll() [驱动层接口] 用的等待队列*/
wait_queue_head_t poll_wait;
/* List of ready file descriptors 已经准备好的file fd链表 */
struct list_head rdllist;
/* RB tree root used to store monitored fd structs 
 *用来储存所有file fd 的红黑树的根*/
struct rb_root rbr;
/*
 * This is a single linked list that chains all the "struct epitem" that
 * happened while transfering ready events to userspace w/out
 * holding ->lock. 这是一个伟大复杂的结构。。。 形成一个包含 struct epitem  结构的单链表 ， 在传输就绪事件到用户空间用到	 */
struct epitem *ovflist;
/* The user that created the eventpoll descriptor 
 	 *存放了建立这个 epoll fd用户的信息(进程数 挂起信号等等 总有一天会是成熟的跟踪系统) <看了很多代码不得不佩服老外，他们在正常的开发中 ，往往能为以后的调试 统计 分析留下接口，这才是做系统的人，而我们国内公司很多功能完成后 想增加点外围接口  想扩展一下，东改西改  本来性能就不高的代码 最后惨不忍睹>*/
struct user_struct *user;
};




/*然后就来先简单说一下 struct epitem *ovflist; 这个核心的和存储位置有关的数据结构*/
struct epitem {
/* RB tree node used to link this structure to the eventpoll RB tree 
    *在 eventpoll 红黑树种的节点*/
struct rb_node rbn;
/* List header used to link this structure to the eventpoll ready list 
     *用来连接本结构体到 eventpoll 中的就绪链表 ，没错就是上面的rdllist */
struct list_head rdllink;
/*
 * Works together "struct eventpoll"->ovflist in keeping the
 * single linked chain of items. 构成上面说的 ovflist  单链表
 */
struct epitem *next;
/* The file descriptor information this item refers to 除了来本身的file fd 还指向了对应的内核file 结构
* 后面会看到这个结构很有用
*/
struct epoll_filefd ffd;
/*   依附于 file()->poll 操作的活跃 eppoll_entry数目*/
int nwait;
/* List containing poll wait queues 把上面的队列串成链表*/
struct list_head pwqlist;
/* The "container" of this item  互相保留引用 */
struct eventpoll *ep;
/* List header used to link this item to the "struct file" items list  连接自身到struct file链表*/
struct list_head fllink;
/* The structure that describe the interested events and the source fd 描述这个file fd感兴趣的事件 */
struct epoll_event event;
};

 

 

 

 

好了先说简单说了说几个主要结构， 下面就来看  ep_alloc 用来创建内部用的数据结构 struct eventpoll 

 

 

static int ep_alloc(struct eventpoll **pep)
{
int error;
struct user_struct *user;
struct eventpoll *ep;
/*给当前 task_struct -> cred -> struct user_struct 增加引用计数*/
user = get_current_user();
error = -ENOMEM;
    /*内核缓冲池中 分配一个ep结果*/
ep = kzalloc(sizeof(*ep), GFP_KERNEL);
    /*当然一般情况下不会失败*/
if (unlikely(!ep))
goto free_uid;
    /*初始化 自旋锁 互斥锁 2条等待队列 一个就绪链表*/
spin_lock_init(&ep->lock);
mutex_init(&ep->mtx);
init_waitqueue_head(&ep->wq);
init_waitqueue_head(&ep->poll_wait);
INIT_LIST_HEAD(&ep->rdllist);
/*当然是根了*/
ep->rbr = RB_ROOT;
    /*表明没激活 但以初始化 惯用伎俩*/
ep->ovflist = EP_UNACTIVE_PTR;
ep->user = user;
    /*成功返回吧 ~*/
*pep = ep;
return 0;
free_uid:
free_uid(user); /*当然是减少引用基数 (原子的)*/
eturn error;
}

 

 

 

 

 

 

 

 

 

下面就是epoll_create里的最后一个关键函数了 anno_inode_getfd

这里传入了4个参数,最主要是

2 fops 新file fd 对应的文件操作结构

3 priv : struct  file 结构中的 private_data

 

其实 这里返回的不是一个传统意义上的inode节点 自然没有那么成熟和强大的功能

所有通过 annon_inode_getfd 创建的 file fd  都共享一个简单的inode 节点

这样就可以节省内核的内存 , 避免代码 在 file indoe dentry这些结构直接的复制 挂接

 

 

int anon_inode_getfd(const char *name, const struct file_operations *fops,
		     void *priv, int flags)
{
	int error, fd;
	struct file *file;

	error = get_unused_fd_flags(flags);
	if (error < 0)
		return error;
	fd = error;
/*只要知道这里创建了一个fild fd 依附上了一个匿名的static inode 节点 就可以了*/
	file = anon_inode_getfile(name, fops, priv, flags);
	if (IS_ERR(file)) {
		error = PTR_ERR(file);
		goto err_put_unused_fd;
	}
/*这里用了rcu 锁 就为了把file结构安装在fdtable表上 */
	fd_install(fd, file);

	return fd;

err_put_unused_fd:
	put_unused_fd(fd);
	return error;
}

 

 

 

 

好了 相信大家看了上面的有点晕,  其实很明显, 因为 epoll_create的 描述符 是epoll自己用的, 并没有任何实体对应 ,所以呢 就用了anon_inode_getfd ,所以大家会发现在 proc fd里面会看到一个 

 annon_inode:[eventpoll]  是不是和上面的入参  很像呢, 哈哈   proc 文件系统就是这个德性

 

里面的目录阿 ,名字啊  都是跟着内核层次 名字来了 你会越看越熟悉.... (是不是有点废话) 

 

 

 

待续.....