`

python 中的进程 ,线程 和 亲缘性

阅读更多
     进程和线程都是由操作系统所体会的程序运行的基本单元,系统利用该基本单元实现系统对应用的并发性。进程和线程的区别在于:
    简而言之,一个程序至少有一个进程,一个进程至少有一个线程.
    线程的划分尺度小于进程,使得多线程程序的并发性高。
    另外,进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率。
     线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行,必须依存在应用程序中,由应用程序提供多个线程执行控制。

     进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位.
    线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.

     进程和线程的主要差别在于它们是不同的操作系统资源管理方式。进程有独立的地址空间,一个进程崩溃后,在保护模式下不会对其它进程产生影响,而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量,但线程之间没有单独的地址空间,一个线程死掉就等于整个进程死掉,所以多进程的程序要比多线程的程序健壮,但在进程切换时,耗费资源较大,效率要差一些。

      线程是独立运行的,它且并不知道进程中还有其他线程存在。线程的执行是抢占式的,也就是说,当前运行的线程在任何时候都可能被挂起,以便另外一个线程可以运行。

      每一个线程都设置了优先限权;在任何时候,只要线程已经准备就绪,具有高优先权的线程总是首先运行。如果线程具有相同的悠闲权,则根据时间片进行轮转调度。上下文的切换包括了保存和恢复线程状态。这个状态不仅仅包含了处理器寄存器(进程上下文)而且还包含了线程可访问的地址空间(进程上下文)。只有在重新调度是在两个进程间进行的时候,进程上下文才被切换。

      线程创建以后,它具有EPriorityNormal的默认优选级。线程被初始化并处于挂起状态,这意味着在线程开始运行前,线程的运行优先级可以被改变。

Affinity

     在系统引导的时候,系统决定该计算机中有几个CPU可以被使用。在应用程序中,可以呼叫GetSystemInfo函数来取得CPU的数量。

   一般地,线程可以运行在任何一个CPU上,当然,你可以使用Windows自带的“soft affinity”机制,让Windows自动分配CPU给一个线程。

  或许,你更希望能够对分配给线程的CPU有一些限制,使用“hard affinity”机制。
  SetProcessAffinityMask函数限制一个特定的进程只能运行在CPU的一个子集上。

   BOOL SetProcessAffinityMask(HANDLE hProcess,   DWORD_PTR dwProcessAffinityMask);


  该函数得第一个参数指明了要被限制的进程,第二个参数是一个“位屏蔽”数据,里面的每个位表示一个CPU代号(从0开始标号),比如0x00000001表示选中CPU 0,也就是“该进程中的线程”只能运行在CPU 0上了;0x00000005表示同时选中CPU 0和CPU 2。

  一个进程中的子进程可以继承该进程的相关性,也可以使用作业内核对象对某些进程限制在要求的一组CPU上执行。

  BOOL GetProcessAffinityMask(
   HANDLE hProcess,
   PDWORD_PTR pdwProcessAffinityMask,
   PDWORD_PTR pdwSystemAffinityMask);


  该函数通过第二个参数返回指定进程的CPU的相关性信息,同时可以通过第三个参数返回系统相关性信息。系统相关性指明系统的哪些CPU可以处理线程,进程的相关性始终是系统相关性的子集。

  以上讨论的是如何把一个进程中的所有线程限制在一组CPU上。有的时候想要把进程的一个具体线程限制在一组CPU上。

  SetThreadAffinityMask函数可以限制某一个线程只能运行在一组CPU上。
D
WORD_PTR SetThreadAffinityMask(
   HANDLE hThread,
   DWORD_PTR dwThreadAffinityMask);


  该函数的第二个参数的意义和SetProcessAffinityMask函数中的第二个参数相同。也必须指明了一个正确的CPU子集,限制指定的线程只能运行在这个CPU子集上。该函数返回原来的线程的相关信息。
  比如,现在有4个线程和4个可用的CPU,你想让线程1独占CPU 0,让其他3个线程只能运行在CPU 1、CPU 2、CPU 3上,可以如下编码:

SetThreadAffinityMask(hThread0, 0x00000001); 0001
SetThreadAffinityMask(hThread1, 0x0000000E); 1110
SetThreadAffinityMask(hThread2, 0x0000000E); 1110
SetThreadAffinityMask(hThread3, 0x0000000E); 1110


python 中的Affinity:
http://pypi.python.org/pypi/affinity                                                               

查看你的服务器有几个核:
cat /proc/cpuinfo |grep -c processor


python  fastcgi中的多进程和多线程


多进程:
 
while len(self._children) < self._maxSpare:
                if not self._spawnChild(sock): break

def _spawnChild(self, sock):
        """
        Spawn a single child. Returns True if successful, False otherwise.
        """
        # This socket pair is used for very simple communication between
        # the parent and its children.
        parent, child = socket.socketpair()
        parent.setblocking(0)
        setCloseOnExec(parent)
        child.setblocking(0)
        setCloseOnExec(child)
        try:
            pid = os.fork()
        except OSError, e:
            if e[0] in (errno.EAGAIN, errno.ENOMEM):
                return False # Can't fork anymore.
            raise
        if not pid:
            # Child
            child.close()
            # Put child into its own process group.
            pid = os.getpid()
            os.setpgid(pid, pid)
            # Restore signal handlers.
            self._restoreSignalHandlers()
            # Close copies of child sockets.
            for f in [x['file'] for x in self._children.values()
                      if x['file'] is not None]:
                f.close()
            self._children = {}
            try:
                # Enter main loop.
                self._child(sock, parent)
            except KeyboardInterrupt:
                pass
            sys.exit(0)
        else:
            # Parent
            parent.close()
            d = self._children[pid] = {}
            d['file'] = child
            d['avail'] = True
            return True


多线程:


 
 while self._idleCount < self._minSpare and \
                  self._workerCount < self._maxThreads:
                self._workerCount += 1
                self._idleCount += 1
 thread.start_new_thread(self._worker, ())


 def _worker(self):
        """
        Worker thread routine. Waits for a job, executes it, repeat.
        """
        self._lock.acquire()
        while True:
            while not self._workQueue:
                self._lock.wait()

            # We have a job to do...
            job = self._workQueue.pop(0)

            assert self._idleCount > 0
            self._idleCount -= 1

            self._lock.release()

            try:
                job.run()
            except:
                # FIXME: This should really be reported somewhere.
                # But we can't simply report it to stderr because of fcgi
                pass

            self._lock.acquire()

            if self._idleCount == self._maxSpare:
                break # NB: lock still held
            self._idleCount += 1
            assert self._idleCount <= self._maxSpare

        # Die off...
        assert self._workerCount > self._maxSpare
        self._workerCount -= 1

        self._lock.release()




自己动手编写fork
def mprocess(info):
    pid = os.fork()
    if pid == 0:
        pid = os.getpid()
        print "child pid",pid
        while True:
            time.sleep(1)
            print info
        sys.exit(0)
    else:
        pid = os.getpid()
        print "parent id",pid

if __name__ == "__main__":
    for i in range(2):
        mprocess("haha_%s" % i)


child pid 26994
child pid 26993
parent id 26992
parent id 26991
child pid 26995
child pid 26996
parent id 26991
parent id 26992

haha_0
haha_0
haha_1
haha_1
haha_0
haha_0
haha_1
haha_1
haha_0



分享到:
评论

相关推荐

    python线程与进程实现方式

    协程是一种用户级的轻量级线程,它允许程序在执行过程中挂起并在需要时恢复,无需操作系统调度。在Python中,生成器(Generator)是实现协程的一种常见方式。生成器函数使用`yield`关键字来暂停执行并返回一个值,当...

    python基础,python进程和线程

    python python基础,python进程和线程

    python多线程同步之文件读写控制

    这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 首先,我们来看一个简单的文件读写示例。`ltz_schedule_times.py`中定义了两个函数,`ReadTimes()`和`WriteTimes()`。`ReadTimes()`函数...

    单线程与多线程python爬虫地图瓦片源码

    多线程爬虫则可以显著提升下载速度,特别是在下载过程中存在I/O操作(如网络请求)时,多线程的优势更加明显。 描述中提到的“经过实测检验,可以稳定长时间运行,下载失败,自动重试”体现了良好爬虫设计的原则。...

    Python中多线程与多进程的应用和技术详解

    内容概要:本文介绍了Python中的多线程和多进程的概念,详细探讨了两者的区别和联系,以及在各种实际场景中(如网络爬虫、数据处理和GUI应用)的具体应用实例,同时还深入探讨了多线程和多进程的高级话题,比如线程...

    浅析Python多线程与多进程的使用

    本篇文章将深入探讨Python中的多线程和多进程概念,以及它们在实际应用中的优缺点。 首先,我们要理解“线程”和“进程”的基本概念。线程是程序执行的最小单位,一个进程中可以有多个线程,它们共享同一份内存空间...

    详解python中的线程

    在Python中,线程是并发执行任务的基本单元,它允许程序同时处理多个任务。Python提供了两种创建线程的方式:函数式和面向对象式。 1. 函数式创建线程 这是通过调用内置的_thread模块中的start_new_thread()函数来...

    详解python中的线程与线程池

    在 Python 中,可以通过 `_thread` 和 `threading` 模块来创建和管理线程。其中 `threading` 是 `_thread` 的高级接口,更易于使用且功能更加强大。 - **主线程**:Python 程序启动时的第一个线程,是程序的起点。 ...

    python多线程编程.rar

    Python多线程编程是Python系统编程中的重要组成部分,它允许程序同时执行多个任务,从而提高程序的效率和响应速度。在Python中,我们通常使用内置的`thread`库、`threading`库以及`Queue`库来实现多线程。 首先,`...

    Python3 多线程笔记

    - **同步阻塞/等待阻塞/IO阻塞**: 在线程执行过程中,可能会因为各种原因进入阻塞状态。比如,当线程试图访问一个被其他线程锁定的资源时,就会进入同步阻塞状态;如果线程正在等待某个事件发生,则处于等待阻塞状态...

    Python多线程编程

    Python多线程编程,简要描述了Python中多线程的实现过程

    python3 多线程压缩文件

    python3 多线程压缩文件

    Python应用实战:python多线程-多线程安全问题&lock与rlock.zip

    在Python编程中,多线程是一种常见的并发执行方式,它允许多个任务同时运行,以提高程序的效率。然而,多线程环境下也存在一系列安全问题,这些问题主要源自资源竞争和数据同步。本篇文章将深入探讨Python中的多线程...

    PYthon-multithreading-Test.rar_python_python 多线程_python多线程_多线程

    通过深入学习和实践压缩包中的“PYthon multithreading Test”源码,你可以更好地掌握Python多线程的原理和应用,为编写高效、稳定的多线程程序打下坚实的基础。在实际开发中,结合具体场景选择合适的并发模型,是...

    python多线程定时器

    在Python编程中,多线程和定时器是两个非常重要的概念。多线程允许程序同时执行多个任务,而定时器则能确保程序在特定时间点或以特定间隔执行某些操作。这里我们将深入探讨如何利用Python的`threading`模块来实现多...

    python多线程池离线安装包.zip

    3. `threadpool-1.3.2.zip`:threadpool是一个Python的多线程库,提供了简单的接口来创建和管理线程池,它简化了多线程编程的过程。在生产环境中,如果你的代码依赖于这个库来实现多线程池,那么需要将此文件解压后...

    基于Linux的python多线程爬虫程序设计.pdf

    网络爬虫在访问网页的过程中可能会遇到各种异常,如网络中断、目标网页不存在等,合理地处理这些异常可以避免程序因为频繁的异常而中断运行,提高爬虫程序的健壮性。 总体来看,基于Linux平台的Python多线程爬虫...

    python spider 多线程爬虫 帐号密码登陆爬取简单例子

    这个目录下的截图可能是爬取过程中的结果展示,如抓取的网页快照或数据可视化。这对于理解和调试爬虫行为非常有帮助。 9. **LICENSE和README.md**: `LICENSE`文件一般包含了项目的许可协议,说明其他人可以如何...

    彻底搞懂 python进程和线程.zip

    彻底搞懂 python进程和线程.zip

Global site tag (gtag.js) - Google Analytics