`
cooler1217
  • 浏览: 377434 次
  • 性别: Icon_minigender_1
  • 来自: 长春
社区版块
存档分类
最新评论

python 多线程

 
阅读更多
  基础不必多讲,还是直接进入python。
    Python代码代码的执行由python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中,同时只有一个线程在执行,就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,但任意时候,只有一个程序在CPU中运行。同样,虽然python解释器可以“运行”多个线程,但在任意时刻,只有一个线程在解释器中运行。

    对python虚拟机的访问由全局解释器锁(GIL)来控制,这个GIL能保证同一时刻只有一个线程在运行。在多线程环境中,python虚拟机按以下方式执行:
   1 设置GIL
   2 切换到一个线程去运行
   3 运行:(a.指定数量的字节码指令,或者b.线程主动让出控制(可以调用time.sleep()))
   4 把线程设置为睡眠状态
   5 解锁GIL
   6 重复以上所有步骤

   那么为什么要提出多线程呢?我们首先看一个单线程的例子。
from time import sleep,ctime
 
def loop0():
    print 'start loop 0 at:',ctime()
    sleep(4)
    print 'loop 0 done at:',ctime()
 
def loop1():
    print 'start loop 1 at:',ctime()
    sleep(2)
    print 'loop 1 done at:',ctime()
 
def main():
    print 'starting at:',ctime()
    loop0()
    loop1()
    print 'all DONE at:',ctime()
 
if __name__=='__main__':
    main()
  

运行结果:
>>>
starting at: Mon Aug 31 10:27:23 2009
start loop 0 at: Mon Aug 31 10:27:23 2009
loop 0 done at: Mon Aug 31 10:27:27 2009
start loop 1 at: Mon Aug 31 10:27:27 2009
loop 1 done at: Mon Aug 31 10:27:29 2009
all DONE at: Mon Aug 31 10:27:29 2009
>>>

可以看到单线程中的两个循环, 只有一个循环结束后另一个才开始。  总共用了6秒多的时间。假设两个loop中执行的不是sleep,而是一个别的运算的话,如果我们能让这些运算并行执行的话,是不是可以减少总的运行时间呢,这就是我们提出多线程的前提。


Python中的多线程模块:thread,threading,Queue。

1  thread ,这个模块一般不建议使用。下面我们直接把以上的例子改一下,演示一下。
from time import sleep,ctime
import thread
 
def loop0():
    print 'start loop 0 at:',ctime()
    sleep(4)
    print 'loop 0 done at:',ctime()
 
def loop1():
    print 'start loop 1 at:',ctime()
    sleep(2)
    print 'loop 1 done at:',ctime()
 
def main():
    print 'starting at:',ctime()
    thread.start_new_thread(loop0,())
    thread.start_new_thread(loop1,())
    sleep(6)
    print 'all DONE at:',ctime()
 
if __name__=='__main__':
    main()
 
 
运行结果:
>>>
starting at: Mon Aug 31 11:04:39 2009
start loop 0 at: Mon Aug 31 11:04:39 2009
start loop 1 at: Mon Aug 31 11:04:39 2009
loop 1 done at: Mon Aug 31 11:04:41 2009
loop 0 done at: Mon Aug 31 11:04:43 2009
all DONE at: Mon Aug 31 11:04:45 2009
>>>
可以看到实际是运行了4秒两个loop就完成了。效率确实提高了。

2 threading模块
   首先看一下threading模块中的对象:
   Thread    :表示一个线程的执行的对象
   Lock     :锁原语对象
   RLock    :可重入锁对象。使单线程可以再次获得已经获得的锁
   Condition  :条件变量对象能让一个线程停下来,等待其他线程满足了某个“条件”,如状态的改变或值的改变
   Event     :通用的条件变量。多个线程可以等待某个事件发生,在事件发生后,所有的线程都被激活
  Semaphore  :为等待锁的线程提供一个类似“等候室”的结构
  BoundedSemaphore  :与semaphore类似,只是它不允许超过初始值
  Timer       :  与Thread类似,只是,它要等待一段时间后才开始运行


其中Thread类是你主要的运行对象,它有很多函数,用它你可以用多种方法来创建线程,常用的为以下三种。
创建一个Thread的实例,传给它一个函数
创建一个Thread实例,传给它一个可调用的类对象
从Thread派生出一个子类,创建一个这个子类的实例

Thread类的函数有:
       getName(self)  返回线程的名字
     |
     |  isAlive(self)  布尔标志,表示这个线程是否还在运行中
     |
     |  isDaemon(self)  返回线程的daemon标志
     |
     |  join(self, timeout=None) 程序挂起,直到线程结束,如果给出timeout,则最多阻塞timeout秒
     |
     |  run(self)  定义线程的功能函数
     |
     |  setDaemon(self, daemonic)  把线程的daemon标志设为daemonic
     |
     |  setName(self, name)  设置线程的名字
     |
     |  start(self)   开始线程执行

   下面看一个例子:(方法一:创建Thread实例,传递一个函数给它)
import threading
from time import sleep,ctime
 
loops=[4,2]
 
def loop(nloop,nsec):
       print 'start loop',nloop,'at:',ctime()
       sleep(nsec)
       print 'loop',nloop,'done at:',ctime()
def main():
       print 'starting at:',ctime()
       threads=[]
       nloops=range(len(loops))
       for i in nloops:
              t=threading.Thread(target=loop,args=(i,loops[i]))
              threads.append(t)
       for i in nloops:
              threads[i].start()
       for i in nloops:
              threads[i].join()
             
       print 'all done at:',ctime()
      
if __name__=='__main__':
       main()

    可以看到第一个for循环,我们创建了两个线程,这里用到的是给Thread类传递了函数,把两个线程保存到threads列表中,第二个for循环是让两个线程开始执行。然后再让每个线程分别调用join函数,使程序挂起,直至两个线程结束。

另外的例子:(方法二:创建一个实例,传递一个可调用的类的对象)
 
import threading
from time import sleep,ctime
 
loops=[4,2]
 
class ThreadFunc(object):
       def __init__(self,func,args,name=''):
              self.name=name
              self.func=func
              self.args=args
       def __call__(self):
              self.res=self.func(*self.args)
def loop(nloop,nsec):
       print 'start loop',nloop,'at:',ctime()
       sleep(nsec)
       print 'loop',nloop,'done at:',ctime()
def main():
       print 'starting at:',ctime()
       threads=[]
       nloops=range(len(loops))
       for i in nloops:
              t=threading.Thread(target=ThreadFunc(loop,(i,loops[i]),loop.__name__))
              threads.append(t)
       for i in nloops:
              threads[i].start()
       for i in nloops:
              threads[i].join()
       print 'all done at:',ctime()
 
if __name__=='__main__':
       main()
 
 
最后的方法:(方法三:创建一个这个子类的实例)
import threading
from time import sleep,ctime
 
loops=(4,2)
 
class MyThread(threading.Thread):
       def __init__(self,func,args,name=''):
              threading.Thread.__init__(self)
              self.name=name
              self.func=func
              self.args=args
       def run(self):
              apply(self.func,self.args)
def loop(nloop,nsec):
       print 'start loop',nloop,'at:',ctime()
       sleep(nsec)
       print 'loop',nloop,'done at:',ctime()
      
def main():
       print 'starting at:',ctime()
       threads=[]
       nloops=range(len(loops))
      
       for i in nloops:
              t=MyThread(loop,(i,loops[i]),loop.__name__)
              threads.append(t)

      for i in nloops:
              threads[i].start()
      
       for i in nloops:
              threads[i].join()
             
       print 'all done at:',ctime()
if __name__=='__main__':
       main()

 




另外我们可以把MyThread单独编成一个脚本模块,然后我们可以在别的程序里导入这个模块直接使用。
分享到:
评论

相关推荐

    基于Linux的python多线程爬虫程序设计.pdf

    总体来看,基于Linux平台的Python多线程爬虫程序设计,不仅可以实现高效的数据抓取,还能通过多种存储方式灵活地管理数据,这对于微博数据挖掘工作来说,是一项十分有价值的工具。而且,随着社交网络数据量的不断...

    python多线程编程实现网络串口透传

    Python多线程编程在实现网络串口透传中扮演着重要的角色,特别是在处理TCP客户端网口数据时。网络串口透传技术允许通过网络连接模拟串行通信,使得远程设备可以像连接本地串口一样进行通信。这在物联网(IoT)、远程...

    python多线程爬虫爬取电影天堂资源

    Python多线程爬虫爬取电影天堂资源是一个实用且具有挑战的项目。以下是对该项目的详细说明: 1. 项目概述: 该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型...

    10个线程的Python多线程爬虫(采集新浪数据).rar

    一个Python多线程爬虫,在工作时,开10个线程来抓取新浪网页的数据,抓取并保存页面, 并且根据deep返回页面链接,根据key确定是否保存该页面,其中:  deep == 0时,是抓取的最后一层深度,即只抓取并保存页面,不...

    使用python多线程异步提高模型部署到rk3588NPU使用率-python源码+项目使用说明.zip

    使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】 使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用,...

    python多线程池离线安装包.zip

    本离线安装包“python多线程池离线安装包.zip”包含了实现Python多线程所需的关键组件。主要包含以下三个子文件: 1. `pip-19.2.3.tar.gz`:这是Python的包管理器pip的一个版本,用于安装和管理Python库。在离线...

    Python 多线程编程实例

    Python 多线程编程实例,一个综合示例

    python多线程定时器

    总结起来,`python多线程定时器`的实现涉及到Python的`threading`和`time`模块,通过`Thread`和`Timer`类来创建和管理线程,使用定时器控制线程的启动时间。主程序`main.py`使用这些工具来安排多个任务按设定的间隔...

    python多线程同步之文件读写控制

    在Python编程中,多线程同步对于文件读写控制至关重要,因为如果不加以控制,多个线程同时访问同一文件可能会导致数据不一致或者错误。这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 ...

    Python多线程超大日志文件解析转储写入mysql/postgresql

    Python多线程超大日志文件解析转储,实现几十G超大文件并发处理。 实现功能如下: 1.多线程分块解析某超大日志文件,实现超大文件多线程分块处理 2.多线程写入数据到数据库postgresql/mysql 3.线程之间通过队列queue...

    python多线程批量访问url脚本

    本项目中的"python多线程批量访问url脚本"正是基于这个理念设计的。 该脚本采用了第三方库`grequests`,它是`requests`库的一个并行版本,能够支持异步的HTTP请求。`requests`库是Python中广泛使用的HTTP客户端,而...

    Python多线程编程(6寸)[归纳].pdf

    Python多线程编程是利用Python实现程序并行性的一种方式,尤其适合于处理异步、并发事务和资源密集型任务。在多线程环境中,多个线程可以同时执行,提高程序效率,尤其对于那些需要从多个输入源处理数据或者进行大量...

    python多线程,断点续传下载程序

    python多线程,断点续传下载程序,功能比较简单,可以进行二次开发。实现更好用的 功能。

    Python多线程编程

    Python多线程编程文档说明 多进程编程 一、 multiprocessing 模块 1. multiprocessing 模块提供了多进程编程的能力 它的API非常类似于 threading 模块,但是也提供了一些threading 模块不具有的能力 相比于线程,它...

    python多线程压测demo

    python多线程压测demo

    python多线程端口扫描工具

    python多线程端口扫描工具,多线程自定义扫描主机开放端口。 Usage: portScan.py [options] Options: -h, --help show this help message and exit -i IP, --ip=IP scan only ip default port in number 1 ...

    python 多线程脚本

    python 多线程封装脚本,可以直接拿来当lib导入使用。

    python 多线程实现多个网址的多次快速访问

    在Python编程中,多线程是一种并发执行任务的机制,尤其在处理I/O密集型任务如网络请求时,能够显著提高程序效率。本教程将详细讲解如何使用Python的多线程来实现对多个网址的快速访问,并记录访问结果。 首先,...

    Python多线程下载管理

    Python多线程下载管理是一种利用Python编程语言实现的高效下载技术,它通过开启多个线程同时处理下载任务,显著提高了文件下载的速度。在现代互联网环境中,处理大量数据或大文件时,多线程技术显得尤为重要,因为它...

    基于Linux的python多线程爬虫程序设计.zip

    本主题“基于Linux的Python多线程爬虫程序设计”将深入探讨如何在Linux环境下利用Python实现多线程爬虫,以优化网络爬虫的性能。 首先,我们需要了解Python中的多线程。Python的`threading`模块提供了创建和管理...

Global site tag (gtag.js) - Google Analytics