`
zhengdl126
  • 浏览: 2543183 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类

linux线程池及内存池

 
阅读更多

http://blog.csdn.net/tingya/archive/2004/12/23/226614.aspx

 

 

 

 

 

Linux下通用线程池的创建与使用
本文给出了一个通用的线程池框架,该框架将与线程执行相关的任务进行了高层次的抽象,使之与具体的执行任务无关。另外该线程池具有动态伸缩性,它能根据执行任务的轻重自动调整线程池中线程的数量。文章的最后,我们给出一个简单示例程序,通过该示例程序,我们会发现,通过该线程池框架执行多线程任务是多么的简单。
 
为什么需要线程池
目前的大多数网络服务器,包括Web服务器、Email服务器以及数据库服务器等都具有一个共同点,就是单位时间内必须处理数目巨大的连接请求,但处理时间却相对较短。
传统多线程方案中我们采用的服务器模型则是一旦接受到请求之后,即创建一个新的线程,由该线程执行任务。任务执行完毕后,线程退出,这就是是“即时创建,即时销毁”的策略。尽管与创建进程相比,创建线程的时间已经大大的缩短,但是如果提交给线程的任务是执行时间较短,而且执行次数极其频繁,那么服务器将处于不停的创建线程,销毁线程的状态。
我们将传统方案中的线程执行过程分为三个过程:T1、T2、T3。
T1:线程创建时间
T2:线程执行时间,包括线程的同步等时间
T3:线程销毁时间
那么我们可以看出,线程本身的开销所占的比例为(T1+T3) / (T1+T2+T3)。如果线程执行的时间很短的话,这比开销可能占到20%-50%左右。如果任务执行时间很频繁的话,这笔开销将是不可忽略的。
除此之外,线程池能够减少创建的线程个数。通常线程池所允许的并发线程是有上界的,如果同时需要并发的线程数超过上界,那么一部分线程将会等待。而传统方案中,如果同时请求数目为2000,那么最坏情况下,系统可能需要产生2000个线程。尽管这不是一个很大的数目,但是也有部分机器可能达不到这种要求。
因此线程池的出现正是着眼于减少线程池本身带来的开销。线程池采用预创建的技术,在应用程序启动之后,将立即创建一定数量的线程(N1),放入空闲队列中。这些线程都是处于阻塞(Suspended)状态,不消耗CPU,但占用较小的内存空间。当任务到来后,缓冲池选择一个空闲线程,把任务传入此线程中运行。当N1个线程都在处理任务后,缓冲池自动创建一定数量的新线程,用于处理更多的任务。在任务执行完毕后线程也不退出,而是继续保持在池中等待下一次的任务。当系统比较空闲时,大部分线程都一直处于暂停状态,线程池自动销毁一部分线程,回收系统资源。
基于这种预创建技术,线程池将线程创建和销毁本身所带来的开销分摊到了各个具体的任务上,执行次数越多,每个任务所分担到的线程本身开销则越小,不过我们另外可能需要考虑进去线程之间同步所带来的开销。
 
构建线程池框架
一般线程池都必须具备下面几个组成部分:
线程池管理器:用于创建并管理线程池
工作线程: 线程池中实际执行的线程
任务接口: 尽管线程池大多数情况下是用来支持网络服务器,但是我们将线程执行的任务抽象出来,形成任务接口,从而是的线程池与具体的任务无关。
任务队列:线程池的概念具体到实现则可能是队列,链表之类的数据结构,其中保存执行线程。
我们实现的通用线程池框架由五个重要部分组成CThreadManage,CThreadPool,CThread,CJob,CWorkerThread,除此之外框架中还包括线程同步使用的类CThreadMutex和CCondition。
CJob是所有的任务的基类,其提供一个接口Run,所有的任务类都必须从该类继承,同时实现Run方法。该方法中实现具体的任务逻辑。
CThread是Linux中线程的包装,其封装了Linux线程最经常使用的属性和方法,它也是一个抽象类,是所有线程类的基类,具有一个接口Run。
CWorkerThread是实际被调度和执行的线程类,其从CThread继承而来,实现了CThread中的Run方法。
CThreadPool是线程池类,其负责保存线程,释放线程以及调度线程。
CThreadManage是线程池与用户的直接接口,其屏蔽了内部的具体实现。
CThreadMutex用于线程之间的互斥。
CCondition则是条件变量的封装,用于线程之间的同步。
它们的类的继承关系如下图所示:
 
线程池的时序很简单,如下图所示。CThreadManage直接跟客户端打交道,其接受需要创建的线程初始个数,并接受客户端提交的任务。这儿的任务是具体的非抽象的任务。CThreadManage的内部实际上调用的都是CThreadPool的相关操作。CThreadPool创建具体的线程,并把客户端提交的任务分发给CWorkerThread,CWorkerThread实际执行具体的任务。
 

 

分享到:
评论

相关推荐

    CPP_lib_SRC.rar_linux 线程池_内存池

    一、C++、C内存池、内存泄漏调试的实现 二、Windows、Linux双平台线程池的实现. 三、一些标准编码的封装类实现. _base64Encode.h _urlEncode.h _utf8Encode.h base32Encode.cpp base32Encode.h base64Encode.cpp ...

    C_Program_Skill.rar_C语言 内存池_linux 线程池

    在“ailixin.c”和“memcpTest.c”文件中,可能包含了如何创建和管理内存池的示例代码,你可以通过学习这些代码来了解内存池的实现细节,如内存块的申请、释放以及内存池的维护。 其次,线程池是多线程编程的一种...

    linux 实现一个简单的线程池及工作

    - **结束线程池**:所有任务完成后,关闭线程池,等待所有线程退出。 6. **示例代码结构** - `ThreadPool`结构体:存储线程池的状态,包括线程数组、任务队列和同步原语。 - `Task`结构体:封装待执行的任务,...

    Linux 线程池

    【Linux 线程池】 线程池是操作系统或编程语言中的一种并发处理机制,它是一种高效的资源管理和任务调度方式。在Linux系统中,通过利用线程池,开发者可以有效地控制并发执行的任务数量,减少线程创建和销毁的开销...

    drm_server1.1.rar_DRMPOOL_libevent_libevent linux_内存池_线程池

    《Linux下libevent库在DRM服务器中的应用与内存池、线程池技术解析》 在信息技术领域,高效处理并发连接是服务端程序设计的重要挑战。"drm_server1.1.rar"是一个基于Linux操作系统的消息中间件服务程序,它利用了...

    linux线程池C源码

    Linux线程池是一种高效利用系统资源,管理并发执行任务的技术。在C语言中实现线程池,可以帮助我们更好地控制线程的创建、销毁以及任务调度,避免频繁创建和销毁线程带来的开销,提高系统的响应速度和吞吐量。本文将...

    Linux环境下的通用线程池设计

    【Linux环境下的通用线程池设计】主要关注的是在Linux操作系统中如何高效地处理并发请求,以提升服务器的性能和稳定性。线程池是一种优化并发处理的策略,它旨在解决多进程/线程模型和多路复用I/O模型的不足。 1. *...

    一种Linux多线程应用下内存池的设计与实现.pdf

    我们可以创建一个线程池来管理内存池,以提高内存池的效率。 内存池的优点: 1. 高效的内存管理:内存池可以快速地分配和释放内存,从而提高系统的性能和效率。 2. 避免内存泄露:内存池可以避免内存泄露,从而...

    linux下的一个线程池类

    线程池通过预先创建一组线程,并将它们保存在一个池中,当有新的任务到来时,可以重用这些线程,而不是每次都创建新的线程。这种方式可以减少系统开销,提高系统的响应速度和并发处理能力。 在描述中提到的"linux下...

    Linux下线程池的C语言实现

    在深入探讨Linux下线程池的C语言实现之前,我们首先需要理解线程池的基本概念以及它在系统设计中的重要性。线程池是一种管理线程的机制,它预先创建一组固定数量的线程,等待任务的到来,从而避免了频繁创建和销毁...

    线程池实例(Linux)

    当有新的任务到来时,线程池会从池中选择一个空闲线程执行任务,而不是每次都创建新线程。线程池能有效控制运行的线程数量,防止过多线程导致系统资源耗尽。 3. **线程池的工作流程**: - **任务提交**:客户端向...

    很不错的一个linux下的线程池

    本篇文章将深入探讨Linux线程池的原理、实现方式以及它在实际应用中的优势。 线程池的基本结构通常包括以下几个部分: 1. **线程池管理器**:负责创建、管理和调度线程池中的工作线程。当有新的任务到来时,管理器...

    moxu 2.0 c++类库,包含内存池,线程池等工具

    《moxu 2.0 C++类库:内存池与线程池的高效实践》 moxu 2.0 是一个C++类库,它专注于提供内存管理和多线程处理的工具,以提高程序的性能和效率。尽管这个库的初衷是设计成跨平台的,但由于开发者对Linux平台的实践...

    ThreadPool.zip

    ThreadPool.zip作为一个在Linux环境下构建的线程池与内存池技术的集合,不仅包含了完整的实现代码,还提供了一套测试用例来验证功能的正确性。本文将详细介绍这两种技术的基本原理、ThreadPool.zip中的实现细节,...

    C语言 Linux Nginx 线程池

    线程池是一种优化资源分配和管理的策略,它预先创建一组线程,当有任务需要执行时,从线程池中取出一个线程来处理任务,完成后线程返回到池中等待下一次分配,而不是每次都创建新的线程。 首先,让我们深入了解一下...

    Linux下高性能网络服务器的设计.pdf

    总结来说,设计高性能的Linux网络服务器需要综合运用多种技术手段,如线程池、内存池、AIO、缓存和消息队列,这些技术的结合使用能够有效地提高服务器处理能力,减少系统资源的消耗,应对大规模的网络访问压力。...

    Unix/linux进程池管理

    另外,`pthread`库也可以用于创建线程池,但线程池与进程池的主要区别在于线程共享同一地址空间,通信更为高效,但线程安全问题需要额外考虑。 **3. 任务调度** 任务调度策略对进程池的效率至关重要。常见的策略有...

    Linux C线程池简单实现实例

    - 分配内存空间存储线程池数据结构 - 初始化线程池状态和同步机制 - 创建指定数量的工作线程 2. **添加任务**: - 使用互斥锁保护队列操作 - 当队列满时,线程阻塞等待有空闲空间 - 将新任务添加到队列尾部 -...

    线程池原理及创建(C++实现

    线程池原理及创建(C++实现) 本文将详细介绍线程池的原理和创建过程,并提供一个通用的线程池框架,具有动态伸缩性,可以根据执行任务的轻重自动调整线程池中线程的数量。 线程池的必要性 在高并发的服务器环境...

    linux c 线程池

    当有新任务到达时,线程池会从池中选择一个空闲线程来执行任务,而不是每次都创建新的线程。这减少了线程创建和销毁的时间成本。 2. **工作队列**:线程池通常会有一个工作队列来存储待处理的任务。任务提交到工作...

Global site tag (gtag.js) - Google Analytics