- 浏览: 378448 次
- 性别:
- 来自: 长春
文章分类
- 全部博客 (319)
- java socket (1)
- java ,IT , (14)
- php Cannot send session cache limiter - headers already sent (1)
- java ,IT ,淘宝 (1)
- mysql java (1)
- wml wap (1)
- jsp (1)
- python (27)
- 第一种方法满足要求 (1)
- java android (2)
- 娱乐,经验 (0)
- java (1)
- 经验 (1)
- linux (4)
- mongodb (1)
- php (2)
- hadoop (1)
- 转载,分享 (1)
- django (1)
- mongo (1)
- java web project (1)
- python3 (1)
- go (1)
最新评论
-
lu56898:
ubuntu中 加了没效果唉
python解决 'ascii' codec can't encode characters -
cooler1217:
DiaoCow 写道不知道LZ想取什么? 但看了下LZ的gre ...
grep awk 应用 -
DiaoCow:
不知道LZ想取什么? 但看了下LZ的grep使用,想了下其实可 ...
grep awk 应用 -
cooler1217:
外国人叫:条条大路通罗马,中国人叫:小鸡不撒尿,各有各的道。完 ...
linux 更改yum地址 -
libla:
个人更喜欢debian极度鄙视yum这种依赖于第三方语言(py ...
linux 更改yum地址
基础不必多讲,还是直接进入python。
Python代码代码的执行由python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中,同时只有一个线程在执行,就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,但任意时候,只有一个程序在CPU中运行。同样,虽然python解释器可以“运行”多个线程,但在任意时刻,只有一个线程在解释器中运行。
对python虚拟机的访问由全局解释器锁(GIL)来控制,这个GIL能保证同一时刻只有一个线程在运行。在多线程环境中,python虚拟机按以下方式执行:
1 设置GIL
2 切换到一个线程去运行
3 运行:(a.指定数量的字节码指令,或者b.线程主动让出控制(可以调用time.sleep()))
4 把线程设置为睡眠状态
5 解锁GIL
6 重复以上所有步骤
那么为什么要提出多线程呢?我们首先看一个单线程的例子。
运行结果:
>>>
starting at: Mon Aug 31 10:27:23 2009
start loop 0 at: Mon Aug 31 10:27:23 2009
loop 0 done at: Mon Aug 31 10:27:27 2009
start loop 1 at: Mon Aug 31 10:27:27 2009
loop 1 done at: Mon Aug 31 10:27:29 2009
all DONE at: Mon Aug 31 10:27:29 2009
>>>
可以看到单线程中的两个循环, 只有一个循环结束后另一个才开始。 总共用了6秒多的时间。假设两个loop中执行的不是sleep,而是一个别的运算的话,如果我们能让这些运算并行执行的话,是不是可以减少总的运行时间呢,这就是我们提出多线程的前提。
Python中的多线程模块:thread,threading,Queue。
1 thread ,这个模块一般不建议使用。下面我们直接把以上的例子改一下,演示一下。
运行结果:
>>>
starting at: Mon Aug 31 11:04:39 2009
start loop 0 at: Mon Aug 31 11:04:39 2009
start loop 1 at: Mon Aug 31 11:04:39 2009
loop 1 done at: Mon Aug 31 11:04:41 2009
loop 0 done at: Mon Aug 31 11:04:43 2009
all DONE at: Mon Aug 31 11:04:45 2009
>>>
可以看到实际是运行了4秒两个loop就完成了。效率确实提高了。
2 threading模块
首先看一下threading模块中的对象:
Thread :表示一个线程的执行的对象
Lock :锁原语对象
RLock :可重入锁对象。使单线程可以再次获得已经获得的锁
Condition :条件变量对象能让一个线程停下来,等待其他线程满足了某个“条件”,如状态的改变或值的改变
Event :通用的条件变量。多个线程可以等待某个事件发生,在事件发生后,所有的线程都被激活
Semaphore :为等待锁的线程提供一个类似“等候室”的结构
BoundedSemaphore :与semaphore类似,只是它不允许超过初始值
Timer : 与Thread类似,只是,它要等待一段时间后才开始运行
其中Thread类是你主要的运行对象,它有很多函数,用它你可以用多种方法来创建线程,常用的为以下三种。
创建一个Thread的实例,传给它一个函数
创建一个Thread实例,传给它一个可调用的类对象
从Thread派生出一个子类,创建一个这个子类的实例
Thread类的函数有:
getName(self) 返回线程的名字
|
| isAlive(self) 布尔标志,表示这个线程是否还在运行中
|
| isDaemon(self) 返回线程的daemon标志
|
| join(self, timeout=None) 程序挂起,直到线程结束,如果给出timeout,则最多阻塞timeout秒
|
| run(self) 定义线程的功能函数
|
| setDaemon(self, daemonic) 把线程的daemon标志设为daemonic
|
| setName(self, name) 设置线程的名字
|
| start(self) 开始线程执行
下面看一个例子:(方法一:创建Thread实例,传递一个函数给它)
可以看到第一个for循环,我们创建了两个线程,这里用到的是给Thread类传递了函数,把两个线程保存到threads列表中,第二个for循环是让两个线程开始执行。然后再让每个线程分别调用join函数,使程序挂起,直至两个线程结束。
另外的例子:(方法二:创建一个实例,传递一个可调用的类的对象)
另外我们可以把MyThread单独编成一个脚本模块,然后我们可以在别的程序里导入这个模块直接使用。
Python代码代码的执行由python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中,同时只有一个线程在执行,就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,但任意时候,只有一个程序在CPU中运行。同样,虽然python解释器可以“运行”多个线程,但在任意时刻,只有一个线程在解释器中运行。
对python虚拟机的访问由全局解释器锁(GIL)来控制,这个GIL能保证同一时刻只有一个线程在运行。在多线程环境中,python虚拟机按以下方式执行:
1 设置GIL
2 切换到一个线程去运行
3 运行:(a.指定数量的字节码指令,或者b.线程主动让出控制(可以调用time.sleep()))
4 把线程设置为睡眠状态
5 解锁GIL
6 重复以上所有步骤
那么为什么要提出多线程呢?我们首先看一个单线程的例子。
from time import sleep,ctime def loop0(): print 'start loop 0 at:',ctime() sleep(4) print 'loop 0 done at:',ctime() def loop1(): print 'start loop 1 at:',ctime() sleep(2) print 'loop 1 done at:',ctime() def main(): print 'starting at:',ctime() loop0() loop1() print 'all DONE at:',ctime() if __name__=='__main__': main()
运行结果:
>>>
starting at: Mon Aug 31 10:27:23 2009
start loop 0 at: Mon Aug 31 10:27:23 2009
loop 0 done at: Mon Aug 31 10:27:27 2009
start loop 1 at: Mon Aug 31 10:27:27 2009
loop 1 done at: Mon Aug 31 10:27:29 2009
all DONE at: Mon Aug 31 10:27:29 2009
>>>
可以看到单线程中的两个循环, 只有一个循环结束后另一个才开始。 总共用了6秒多的时间。假设两个loop中执行的不是sleep,而是一个别的运算的话,如果我们能让这些运算并行执行的话,是不是可以减少总的运行时间呢,这就是我们提出多线程的前提。
Python中的多线程模块:thread,threading,Queue。
1 thread ,这个模块一般不建议使用。下面我们直接把以上的例子改一下,演示一下。
from time import sleep,ctime import thread def loop0(): print 'start loop 0 at:',ctime() sleep(4) print 'loop 0 done at:',ctime() def loop1(): print 'start loop 1 at:',ctime() sleep(2) print 'loop 1 done at:',ctime() def main(): print 'starting at:',ctime() thread.start_new_thread(loop0,()) thread.start_new_thread(loop1,()) sleep(6) print 'all DONE at:',ctime() if __name__=='__main__': main()
运行结果:
>>>
starting at: Mon Aug 31 11:04:39 2009
start loop 0 at: Mon Aug 31 11:04:39 2009
start loop 1 at: Mon Aug 31 11:04:39 2009
loop 1 done at: Mon Aug 31 11:04:41 2009
loop 0 done at: Mon Aug 31 11:04:43 2009
all DONE at: Mon Aug 31 11:04:45 2009
>>>
可以看到实际是运行了4秒两个loop就完成了。效率确实提高了。
2 threading模块
首先看一下threading模块中的对象:
Thread :表示一个线程的执行的对象
Lock :锁原语对象
RLock :可重入锁对象。使单线程可以再次获得已经获得的锁
Condition :条件变量对象能让一个线程停下来,等待其他线程满足了某个“条件”,如状态的改变或值的改变
Event :通用的条件变量。多个线程可以等待某个事件发生,在事件发生后,所有的线程都被激活
Semaphore :为等待锁的线程提供一个类似“等候室”的结构
BoundedSemaphore :与semaphore类似,只是它不允许超过初始值
Timer : 与Thread类似,只是,它要等待一段时间后才开始运行
其中Thread类是你主要的运行对象,它有很多函数,用它你可以用多种方法来创建线程,常用的为以下三种。
创建一个Thread的实例,传给它一个函数
创建一个Thread实例,传给它一个可调用的类对象
从Thread派生出一个子类,创建一个这个子类的实例
Thread类的函数有:
getName(self) 返回线程的名字
|
| isAlive(self) 布尔标志,表示这个线程是否还在运行中
|
| isDaemon(self) 返回线程的daemon标志
|
| join(self, timeout=None) 程序挂起,直到线程结束,如果给出timeout,则最多阻塞timeout秒
|
| run(self) 定义线程的功能函数
|
| setDaemon(self, daemonic) 把线程的daemon标志设为daemonic
|
| setName(self, name) 设置线程的名字
|
| start(self) 开始线程执行
下面看一个例子:(方法一:创建Thread实例,传递一个函数给它)
import threading from time import sleep,ctime loops=[4,2] def loop(nloop,nsec): print 'start loop',nloop,'at:',ctime() sleep(nsec) print 'loop',nloop,'done at:',ctime() def main(): print 'starting at:',ctime() threads=[] nloops=range(len(loops)) for i in nloops: t=threading.Thread(target=loop,args=(i,loops[i])) threads.append(t) for i in nloops: threads[i].start() for i in nloops: threads[i].join() print 'all done at:',ctime() if __name__=='__main__': main()
可以看到第一个for循环,我们创建了两个线程,这里用到的是给Thread类传递了函数,把两个线程保存到threads列表中,第二个for循环是让两个线程开始执行。然后再让每个线程分别调用join函数,使程序挂起,直至两个线程结束。
另外的例子:(方法二:创建一个实例,传递一个可调用的类的对象)
import threading from time import sleep,ctime loops=[4,2] class ThreadFunc(object): def __init__(self,func,args,name=''): self.name=name self.func=func self.args=args def __call__(self): self.res=self.func(*self.args) def loop(nloop,nsec): print 'start loop',nloop,'at:',ctime() sleep(nsec) print 'loop',nloop,'done at:',ctime() def main(): print 'starting at:',ctime() threads=[] nloops=range(len(loops)) for i in nloops: t=threading.Thread(target=ThreadFunc(loop,(i,loops[i]),loop.__name__)) threads.append(t) for i in nloops: threads[i].start() for i in nloops: threads[i].join() print 'all done at:',ctime() if __name__=='__main__': main() 最后的方法:(方法三:创建一个这个子类的实例) import threading from time import sleep,ctime loops=(4,2) class MyThread(threading.Thread): def __init__(self,func,args,name=''): threading.Thread.__init__(self) self.name=name self.func=func self.args=args def run(self): apply(self.func,self.args) def loop(nloop,nsec): print 'start loop',nloop,'at:',ctime() sleep(nsec) print 'loop',nloop,'done at:',ctime() def main(): print 'starting at:',ctime() threads=[] nloops=range(len(loops)) for i in nloops: t=MyThread(loop,(i,loops[i]),loop.__name__) threads.append(t) for i in nloops: threads[i].start() for i in nloops: threads[i].join() print 'all done at:',ctime() if __name__=='__main__': main()
另外我们可以把MyThread单独编成一个脚本模块,然后我们可以在别的程序里导入这个模块直接使用。
发表评论
-
MacOS M1 安装rocketmq-client-python
2021-11-25 17:26 10011 下载 https://github.com/apache ... -
python克隆数据 copy
2013-03-07 14:16 929现在看到了 Python 优美的设计。那下面的问题是,如果我们 ... -
python Queue模块
2013-02-22 17:07 9702011-04-20 17:11:05| 分类: Pyth ... -
[emerg] 10464#0: unknown directive "ssl"
2013-02-01 11:57 3838#yum install openssl #yum insta ... -
python flask应用 Principal 授权认证
2012-12-14 11:56 1843''' Created on 2012-6-14 ... -
sitecustomize.py 用法
2012-11-19 15:48 24001、在python安装目录下的lib下的site-packag ... -
加菲小小小猫 python菜鸟侃大山第一弹--目录
2012-06-26 13:33 0欢迎来到加菲小小小猫菜鸟讲堂,这期课程共计20课时,主要内容为 ... -
加菲小小小猫 python菜鸟侃大山第一弹--目录
2012-06-26 11:06 4欢迎来到加菲小小小猫菜鸟讲堂,这期课程共计20 ... -
TypeError: 'module' object is not callable 解决
2012-04-17 16:03 3943原文地址:http://hi.baidu.com/bsndhs ... -
python 自定义py文件中方法导入
2012-04-06 14:45 2793例子: 工程 ... -
pymongo 模糊查询
2012-04-01 17:32 5874如果是mongodb的客户端下 直接输入命令 db.devi ... -
pymongo $addToSet 和 $set 区别
2012-03-28 15:35 2428conn = Connection("127 ... -
python解决 'ascii' codec can't encode characters
2012-03-27 18:08 12132异常: 'ascii' codec can't encode ... -
python mongodb time的妙用
2012-03-19 14:41 1029需要把这条日志的时间放到临近的5分钟内, 时间段为:0,5,1 ... -
python ftp上传下载文件,支持断点续传
2012-03-14 11:41 4474功能:ftp断点上传下载 仅供参考: #encodin ... -
python 百分号使用
2012-03-09 12:17 3989原文地址 http://developer ... -
celery+ rabbitMq + python linux是下配置 序
2012-02-27 04:42 940我安装的时候就遇到了很多麻烦,主要是跟中linux包的依赖。。 ... -
logging 使用 python
2012-02-22 17:50 847转载:http://blog.csdn.net/yatere/ ... -
python **args * args
2012-02-20 18:12 792转载 http://jimi68.iteye.com/blo ... -
python paramiko pycropto 安装
2012-02-17 19:30 996http://www.voidspace.org.uk/pyt ...
相关推荐
总体来看,基于Linux平台的Python多线程爬虫程序设计,不仅可以实现高效的数据抓取,还能通过多种存储方式灵活地管理数据,这对于微博数据挖掘工作来说,是一项十分有价值的工具。而且,随着社交网络数据量的不断...
Python多线程编程在实现网络串口透传中扮演着重要的角色,特别是在处理TCP客户端网口数据时。网络串口透传技术允许通过网络连接模拟串行通信,使得远程设备可以像连接本地串口一样进行通信。这在物联网(IoT)、远程...
Python多线程爬虫爬取电影天堂资源是一个实用且具有挑战的项目。以下是对该项目的详细说明: 1. 项目概述: 该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型...
一个Python多线程爬虫,在工作时,开10个线程来抓取新浪网页的数据,抓取并保存页面, 并且根据deep返回页面链接,根据key确定是否保存该页面,其中: deep == 0时,是抓取的最后一层深度,即只抓取并保存页面,不...
使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】 使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用,...
本离线安装包“python多线程池离线安装包.zip”包含了实现Python多线程所需的关键组件。主要包含以下三个子文件: 1. `pip-19.2.3.tar.gz`:这是Python的包管理器pip的一个版本,用于安装和管理Python库。在离线...
Python 多线程编程实例,一个综合示例
总结起来,`python多线程定时器`的实现涉及到Python的`threading`和`time`模块,通过`Thread`和`Timer`类来创建和管理线程,使用定时器控制线程的启动时间。主程序`main.py`使用这些工具来安排多个任务按设定的间隔...
在Python编程中,多线程同步对于文件读写控制至关重要,因为如果不加以控制,多个线程同时访问同一文件可能会导致数据不一致或者错误。这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 ...
Python多线程超大日志文件解析转储,实现几十G超大文件并发处理。 实现功能如下: 1.多线程分块解析某超大日志文件,实现超大文件多线程分块处理 2.多线程写入数据到数据库postgresql/mysql 3.线程之间通过队列queue...
本项目中的"python多线程批量访问url脚本"正是基于这个理念设计的。 该脚本采用了第三方库`grequests`,它是`requests`库的一个并行版本,能够支持异步的HTTP请求。`requests`库是Python中广泛使用的HTTP客户端,而...
Python多线程编程是利用Python实现程序并行性的一种方式,尤其适合于处理异步、并发事务和资源密集型任务。在多线程环境中,多个线程可以同时执行,提高程序效率,尤其对于那些需要从多个输入源处理数据或者进行大量...
python多线程,断点续传下载程序,功能比较简单,可以进行二次开发。实现更好用的 功能。
Python多线程编程文档说明 多进程编程 一、 multiprocessing 模块 1. multiprocessing 模块提供了多进程编程的能力 它的API非常类似于 threading 模块,但是也提供了一些threading 模块不具有的能力 相比于线程,它...
python多线程压测demo
python多线程端口扫描工具,多线程自定义扫描主机开放端口。 Usage: portScan.py [options] Options: -h, --help show this help message and exit -i IP, --ip=IP scan only ip default port in number 1 ...
python 多线程封装脚本,可以直接拿来当lib导入使用。
在Python编程中,多线程是一种并发执行任务的机制,尤其在处理I/O密集型任务如网络请求时,能够显著提高程序效率。本教程将详细讲解如何使用Python的多线程来实现对多个网址的快速访问,并记录访问结果。 首先,...
Python多线程下载管理是一种利用Python编程语言实现的高效下载技术,它通过开启多个线程同时处理下载任务,显著提高了文件下载的速度。在现代互联网环境中,处理大量数据或大文件时,多线程技术显得尤为重要,因为它...
本主题“基于Linux的Python多线程爬虫程序设计”将深入探讨如何在Linux环境下利用Python实现多线程爬虫,以优化网络爬虫的性能。 首先,我们需要了解Python中的多线程。Python的`threading`模块提供了创建和管理...