一、概述
在当今强调多核开发的年代,要求程序员能够写出高并发的程序,而利用多个核一般有两种方式:采用多线程方式或多进程方式。每处理一个新任务时如果临时产生一个线程或进程且处理完任务后线程或进程便立即退出,显示这种方式是非常低效的,于是人们一般采用线程池的模型(这在JAVA 或 .NET 中非常普遍)或多进程进程池模型(这一般在UNIX平台应用较多)。此外,对于线程池或进程池模型又分为两种情形:常驻留内存或半驻留内存,常驻内存是指预先产生一批线程或进程,等待新任务到达,这些线程或进程即使在空闲状态也会常驻内存;半驻留内存是指当来新任务时如果线程池或进程池没有可利用线程或进程则启动新的线程或进程来处理新任务,处理完后,线程或进程并不立即退出,而是空闲指定时间,如果在空闲阀值时间到达前有新任务到达则立即处理新任务,如果到达空闲超时后依然没有新任务到达,则这些空闲的线程或进程便退出,以让出系统资源。所以,对比常驻内存方式和半驻留内存方式,不难看出半驻留方式更有按需分配的意味。
下面仅以ACL框架中的半驻留线程池模型为例介绍了如何写一个半驻留线程池的程序。
二、半驻留线程池函数接口说明
2.1)线程池的创建、销毁及任务添加等接口
/** * 创建一个线程池对象 * @param attr {acl_pthread_pool_attr_t*} 线程池创建时的属性,如果该参数为空, * 则采用默认参数: ACL_PTHREAD_POOL_DEF_XXX * @return {acl_pthread_pool_t*}, 如果不为空则表示成功,否则失败 */ ACL_API acl_pthread_pool_t *acl_pthread_pool_create(const acl_pthread_pool_attr_t *attr); /** * 销毁一个线程池对象, 成功销毁后该对象不能再用. * @param thr_pool {acl_pthread_pool_t*} 线程池对象,不能为空 * @return {int} 0: 成功; != 0: 失败 */ ACL_API int acl_pthread_pool_destroy(acl_pthread_pool_t *thr_pool); /** * 向线程池添加一个任务 * @param thr_pool {acl_pthread_pool_t*} 线程池对象,不能为空 * @param run_fn {void (*)(*)} 当有可用工作线程时所调用的回调处理函数 * @param run_arg {void*} 回调函数 run_fn 所需要的回调参数 * @return {int} 0: 成功; != 0: 失败 */ ACL_API int acl_pthread_pool_add(acl_pthread_pool_t *thr_pool, void (*run_fn)(void *), void *run_arg); /** * 当前线程池中的线程数 * @param thr_pool {acl_pthread_pool_t*} 线程池对象,不能为空 * @return {int} 返回线程池中的总线程数 */ ACL_API int acl_pthread_pool_size(acl_pthread_pool_t *thr_pool);
2.2)线程池属性设置接口
/** * 初始化线程池属性值 * @param attr {acl_pthread_pool_attr_t*} */ ACL_API void acl_pthread_pool_attr_init(acl_pthread_pool_attr_t *attr); /** * 设置线程池属性中的最大堆栈大小(字节) * @param attr {acl_pthread_pool_attr_t*} * @param size {size_t} */ ACL_API void acl_pthread_pool_attr_set_stacksize(acl_pthread_pool_attr_t *attr, size_t size); /** * 设置线程池属性中的最大线程数限制值 * @param attr {acl_pthread_pool_attr_t*} * @param threads_limit {int} 线程池中的最大线程数 */ ACL_API void acl_pthread_pool_attr_set_threads_limit(acl_pthread_pool_attr_t *attr, int threads_limit); /** * 设置线程池属性中线程空闲超时值 * @param attr {acl_pthread_pool_attr_t*} * @param idle_timeout {int} 线程空闲超时时间(秒) */ ACL_API void acl_pthread_pool_attr_set_idle_timeout(acl_pthread_pool_attr_t *attr, int idle_timeout);
2.3)线程池中的工作线程创建、退出时设置回调函数接口
/** * 添加注册函数,在线程创建后立即执行此初始化函数 * @param thr_pool {acl_pthread_pool_t*} 线程池对象,不能为空 * @param init_fn {int (*)(void*)} 工作线程初始化函数, 如果该函数返回 < 0, * 则该线程自动退出。 * @param init_arg {void*} init_fn 所需要的参数 * @return {int} 0: OK; != 0: Error. */ ACL_API int acl_pthread_pool_atinit(acl_pthread_pool_t *thr_pool, int (*init_fn)(void *), void *init_arg); /** * 添加注册函数,在线程退出立即执行此初函数 * @param thr_pool {acl_pthread_pool_t*} 线程池对象,不能为空 * @param free_fn {void (*)(void*)} 工作线程退出前必须执行的函数 * @param free_arg {void*} free_fn 所需要的参数 * @return {int} 0: OK; != 0: Error. */ ACL_API int acl_pthread_pool_atfree(acl_pthread_pool_t *thr_pool, void (*free_fn)(void *), void *free_arg);
三、半驻留线程池例子
3.1)程序代码
#include "lib_acl.h" #include <assert.h> /** * 用户自定义数据结构 */ typedef struct THREAD_CTX { acl_pthread_pool_t *thr_pool; int i; } THREAD_CTX; /* 全局性静态变量 */ static acl_pthread_pool_t *__thr_pool = NULL; /* 线程局部存储变量(C99支持此种方式声明,方便许多) */ static __thread unsigned int __local = 0; static void work_thread_fn(void *arg) { THREAD_CTX *ctx = (THREAD_CTX*) arg; /* 获得用户自定义对象 */ int i = 5; /* 仅是验证参数传递过程 */ assert(ctx->thr_pool == __thr_pool); while (i-- > 0) { printf("thread start! tid=%d, i=%d, __local=%d\r\n", acl_pthread_self(), ctx->i, __local); /* 在本线程中将线程局部变量加1 */ __local++; sleep(1); } acl_myfree(ctx); /* 至此,该工作线程进入空闲状态,直到空闲超时退出 */ } static int on_thread_init(void *arg) { const char *myname = "on_thread_init"; acl_pthread_pool_t *thr_pool = (acl_pthread_pool_t*) arg; /* 判断一下,仅是为了验证参数传递过程 */ assert(thr_pool == __thr_pool); printf("%s: thread(%d) init now\r\n", myname, acl_pthread_self()); /* 返回0表示继续执行该线程获得的新任务,返回-1表示停止执行该任务 */ return (0); } static void on_thread_exit(void *arg) { const char *myname = "on_thread_exit"; acl_pthread_pool_t *thr_pool = (acl_pthread_pool_t*) arg; /* 判断一下,仅是为了验证参数传递过程 */ assert(thr_pool == __thr_pool); printf("%s: thread(%d) exit now\r\n", myname, acl_pthread_self()); } static void run_thread_pool(acl_pthread_pool_t *thr_pool) { THREAD_CTX *ctx; /* 用户自定义参数 */ /* 设置全局静态变量 */ __thr_pool = thr_pool; /* 设置线程开始时的回调函数 */ (void) acl_pthread_pool_atinit(thr_pool, on_thread_init, thr_pool); /* 设置线程退出时的回调函数 */ (void) acl_pthread_pool_atfree(thr_pool, on_thread_exit, thr_pool); ctx = (THREAD_CTX*) acl_mycalloc(1, sizeof(THREAD_CTX)); assert(ctx); ctx->thr_pool = thr_pool; ctx->i = 0; /** * 向线程池中添加第一个任务,即启动第一个工作线程 * @param thr_pool 线程池句柄 * @param workq_thread_fn 工作线程的回调函数 * @param ctx 用户定义参数 */ acl_pthread_pool_add(thr_pool, work_thread_fn, ctx); sleep(1); ctx = (THREAD_CTX*) acl_mycalloc(1, sizeof(THREAD_CTX)); assert(ctx); ctx->thr_pool = thr_pool; ctx->i = 1; /* 向线程池中添加第二个任务,即启动第二个工作线程 */ acl_pthread_pool_add(thr_pool, work_thread_fn, ctx); } int main(int argc acl_unused, char *argv[] acl_unused) { acl_pthread_pool_t *thr_pool; int max_threads = 20; /* 最多并发20个线程 */ int idle_timeout = 10; /* 每个工作线程空闲10秒后自动退出 */ acl_pthread_pool_attr_t attr; acl_pthread_pool_attr_init(&attr); acl_pthread_pool_attr_set_threads_limit(&attr, max_threads); acl_pthread_pool_attr_set_idle_timeout(&attr, idle_timeout); /* 创建半驻留线程句柄 */ thr_pool = acl_pthread_pool_create(&attr); assert(thr_pool); run_thread_pool(thr_pool); if (0) { /* 如果立即运行 acl_pthread_pool_destroy,则由于调用了线程池销毁函数, * 主线程便立刻通知空闲线程退出,所有空闲线程不必等待空闲超时时间便可退出, */ printf("> wait all threads to be idle and free thread pool\r\n"); /* 立即销毁线程池 */ acl_pthread_pool_destroy(thr_pool); } else { /* 因为不立即调用 acl_pthread_pool_destroy,所有所有空闲线程都是当空闲 * 超时时间到达后才退出 */ while (1) { int ret; ret = acl_pthread_pool_size(thr_pool); if (ret == 0) break; printf("> current threads in thread pool is: %d\r\n", ret); sleep(1); } /* 线程池中的工作线程数为0时销毁线程池 */ printf("> all worker thread exit now\r\n"); acl_pthread_pool_destroy(thr_pool); } /* 主线程等待用户在终端输入任意字符后退出 */ printf("> enter any key to exit\r\n"); getchar(); return (0); }
3.2) 编译链接
从 http://www.sourceforge.net/projects/acl/ 站点下载 acl_project 代码,在WIN32平台下请用VC2003编译,打开 acl_project\win32_build\vc\acl_project_vc2003.sln 编译后在目录 acl_project\dist\lib_acl\lib\win32 下生成lib_acl_vc2003.lib, 然后在示例的控制台工程中包含该库,并包含acl_project\lib_acl\include 下的 lib_acl.h 头文件,编译上述源代码即可。
因为本例子代码在 ACL 的例子里有,所以可以直接编译 acl_project\win32_build\vc\samples\samples_vc2003.sln 中的 thread_pool 项目即可。
3.3) 运行
运行示例程序后,在我的机器的显示结果如下:
on_thread_init: thread(23012) init now
thread start! tid=23012, i=0, __local=0
thread start! tid=23012, i=0, __local=1
> current threads in thread pool is: 2
on_thread_init: thread(23516) init now
thread start! tid=23516, i=1, __local=0
thread start! tid=23516, i=1, __local=1
> current threads in thread pool is: 2
thread start! tid=23012, i=0, __local=2
thread start! tid=23516, i=1, __local=2
thread start! tid=23012, i=0, __local=3
> current threads in thread pool is: 2
thread start! tid=23516, i=1, __local=3
thread start! tid=23012, i=0, __local=4
> current threads in thread pool is: 2
thread start! tid=23516, i=1, __local=4
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
> current threads in thread pool is: 2
on_thread_exit: thread(23012) exit now
> current threads in thread pool is: 1
on_thread_exit: thread(23516) exit now
> all worker thread exit now
> enter any key to exit
四、小结
可以看出,使用ACL库创建半驻留式高并发多线程程序是比较简单的,ACL线程池库的接口定义及实现尽量与POSIX中规定的POSIX线程的实现接口相似,创建与使用ACL线程池库的步骤如下:
a) acl_pthread_pool_attr_init: 初始化创建线程池对象所需要属性信息(可以通过 acl_pthread_pool_attr_set_threads_limit 设置线程池最大并发数及用 acl_pthread_pool_attr_set_idle_timeout 设置线程池中工作线程的空闲退出时间间隔)
b) acl_pthread_pool_create: 创建线程池对象
c) acl_pthread_pool_add: 向线程池中添加新任务,新任务将由线程池中的某一工作线程执行
d) acl_pthread_pool_destroy: 通知并等待线程池中的工作线程执行完任务后退出,同时销毁线程池对象
还可以在选择在创建线程池对象后,调用 acl_pthread_pool_atinit 设置工作线程第一次被创建时回调用户自定义函数过程,或当线程空闲退出后调用 acl_pthread_pool_atfree 中设置的回调函数。
另外,可以将创建线程池的过程进行一抽象,写成如下形式:
/** * 创建半驻留线程池的过程 * @return {acl_pthread_pool_t*} 新创建的线程池句柄 */ static acl_pthread_pool_t *create_thread_pool(void) { acl_pthread_pool_t *thr_pool; /* 线程池句柄 */ int max_threads = 100; /* 最多并发100个线程 */ int idle_timeout = 10; /* 每个工作线程空闲10秒后自动退出 */ acl_pthread_pool_attr_t attr; /* 线程池初始化时的属性 */ /* 初始化线程池对象属性 */ acl_pthread_pool_attr_init(&attr); acl_pthread_pool_attr_set_threads_limit(&attr, max_threads); acl_pthread_pool_attr_set_idle_timeout(&attr, idle_timeout); /* 创建半驻留线程句柄 */ thr_pool = acl_pthread_pool_create(&attr); assert(thr_pool); return (thr_pool); }
其实,利用ACL创建线程池还有一个简化接口(只所以叫 acl_thread_xxx 没有加 p, 是因为这个接口不太遵守 Posix的一些规范),如下:
/** * 更简单地创建线程对象的方法 * @param threads_limit {int} 线程池中最大并发线程数 * @param idle_timeout {int} 工作线程空闲超时退出时间(秒),如果为0则工作线程永不退出 * @return {acl_pthread_pool_t*}, 如果不为空则表示成功,否则失败 */ ACL_API acl_pthread_pool_t *acl_thread_pool_create(int threads_limit, int idle_timeout);
这样,用户就可以非常方便地创建自己的线程池了,而且别忘了,这个线程池还是可以是半驻留的(当然也是跨平台的,可以运行在 Linux/Solaris/FreeBSD/Win32 的环境下)。
为了方便使用ACL库,用户可以参看ACL的在线帮助文档:http://acl.sourceforge.net/acl_help/index.html。
下载:http://sourceforge.net/projects/acl/
svn:svn checkout svn://svn.code.sf.net/p/acl/code/trunk acl-code
github:https://github.com/acl-dev/acl/
QQ 群:242722074
国内镜像:http://git.oschina.net/acl-dev/acl/
相关推荐
1. **服务器开发框架**:ACL框架提供了一套完整的服务器开发工具,使得开发者可以快速构建高性能、高并发的网络服务。它包含了请求处理、连接管理、会话维护等核心模块,简化了网络服务器的开发流程。 2. **同步...
这个库特别适合于开发需要高性能、高并发性和良好扩展性的网络应用程序。在本文中,我们将深入探讨ACL库的核心特性、功能以及如何在实际项目中应用。 首先,ACL库的跨平台特性使得它可以在多种操作系统上运行,如...
protocol(用 C 语言写的一些网络应用协议库)、lib_acl_cpp(用 C++ 语言编写,封装了 lib_acl/lib_protocol 两个库,同时增加更多实用的功能库)、 lib_fiber(用 C 语言编写的支持高性能、高并发的网络协程库)、...
在使用时,开发者需要按照库的文档指示将其正确地链接到自己的应用程序中,以便能够利用其提供的功能。 在实际应用中,ACL库通常会提供以下关键功能: 1. **权限定义**:允许开发者创建、修改和删除权限条目,这些...
基于acl库封装的redis client vs2010工程; 运行时解压到: redis-acl\lib_acl_cpp\samples\redis路径下,把lib_acl_vc2010d.lib、lib_acl_cpp_vc2010d.lib放到 \redis-acl\lib_acl_cpp\samples\redis\redisclient...
ACL(Access Control List)框架库是一个专为C语言设计的开源库,它的核心目标是提供一个高效且灵活的服务器开发框架。这个库包含了多种关键组件,使得开发者在构建网络服务时能够快速、稳定地实现复杂的功能。以下...
无论是开发跨平台的应用程序,还是优化特定系统的安全策略,ACL都能帮助开发者实现目标,同时保持代码的可移植性。开源的特性也让它成为开发者和系统管理员的宝贵资源,共同推动了软件安全领域的发展。
为了充分利用凌华ACL-7130的功能,用户需要正确安装和更新驱动程序。这通常包括以下步骤: 1. **下载驱动程序**:从凌华科技的官方网站或者其他可靠来源获取最新版本的驱动程序。 2. **解压文件**:将压缩包解压到...
acl_cpp 是基于 acl 库的 C++ 库,包括 MIIME 解析、Handlersocket 客户端库、数据库连接池(支持mysql/sqlite)、WEB 编程、数据库编程、阻塞/非阻塞数据流等内容。
华为Ensp,基本ACL,高级ACL,三层ACL,二层ACL,命名ACL配置大全.doc
ACL(Access Control List)框架库是一个用于权限管理的开源库,尤其在软件开发中,它对于构建具有精细访问控制功能的应用程序至关重要。v3.6.1.6是该库的一个特定版本,提供了稳定性和功能性的增强。在这个压缩包中...
前端开源库-acl基于Redis的访问控制列表模块acl,支持快速中间件
在这个场景中,"acl.3.0.18.gz_ACL" 是一个软件包,它包含ACL库和应用程序接口的更新版本3.0.18。 1. ACL 库:这个库是ACL的核心部分,提供了底层的访问控制功能。它实现了各种访问控制策略,如读、写、执行等权限...
总的来说,ACL项目是一个全面的开发工具集,它提供了从底层网络通信到高层应用逻辑的一系列基础设施,帮助开发者构建高性能、跨平台的应用程序。对于从事服务器开发、网络编程或需要高效算法的开发者来说,ACL项目是...
python库。 资源全名:acl_iitbbs-0.1-py3-none-any.whl
【Laravel 开发 - Laravel ACL 实现】 在 Laravel 框架中,权限管理是一个重要的组成部分,特别是对于大型企业级应用或需要复杂用户角色控制的项目。Laravel ACL(Access Control List,访问控制列表)是一种实现这...
acl 框架库是一个 C 库,主要包含:服务器开发框架、同步/异步网络通讯、常用数据结构、进程池/线程池、流式 xml/json 解析器、http/ping 应用协议等内容。 acl 包括以下丰富的常用函数库: 1、常见网络应用库:SMTP...
通过查看这些文件,你可以更深入地了解Go-ACL的实现细节,学习如何在自己的Go项目中有效利用这个库来实现访问控制功能。如果你需要进一步的指导,可以查阅库的官方文档或相关的在线教程,以获取更多关于配置和使用Go...
1. **库函数**:在C语言编程中,可以使用`libacl`库来操作ACL,它提供了如`acl_init`,`acl_set_file`等函数接口。 2. **程序设计**:编写系统级程序时,理解并正确处理ACL对于确保文件和资源的安全性至关重要。 3. ...
"Flashlight+Libraries(beporsam.ir)"项目展示了如何有效利用ACL库来实现特定功能,同时也提醒我们,在进行Android开发时,选择合适的库能大大提高开发效率和应用质量。通过深入理解并熟练运用ACL库,开发者可以更好...