`
wwty
  • 浏览: 542966 次
  • 性别: Icon_minigender_1
  • 来自: 北京-郑州
社区版块
存档分类
最新评论

python 多线程 gil

阅读更多

python里的多线程是单cpu意义上的多线程,它和多cpu上的多线程有着本质的区别。

单cpu多线程:并发

多cpu多线程:并行内部包含并发

 

在python当中,存在一个叫Global Interpreter Lock(GIL)的东西,直译就是全局解释器锁。它的作用在于让同一时刻只能有一个线程对于python对象进行操作。Python已经提供了各种机制让我们进行多线程同步,为什么又要整这个GIL呢?这是因为程序员控制的同步是对各个程序中可见的变量,而GIL同步的是解释器后台的不可见变量,比如为了进行垃圾回收而维护的引用计数。如果没有GIL,有可能出现由于线程切换导致的对同一个对象释放两次的情况。

因此,任何一个CPython线程如果要执行,就必须先获取这个GIL。后果?就是在CPython中,本质上几乎是没有线程并行的,不论你开多少个线程,同一时刻只有获取GIL的那个线程能够执行。为什么要说几乎呢,这是因为提供给python的C库中,还是有解决方案的,比如

 

这段代码是sleep的代码,在执行sleep之前,通过一个宏来释放GIL,然后在睡眠结束执行其他代码前又获取GIL。其他一下操作,比如IO,也会有类似的操作,这样就使得对于IO密集型的程序,或者是使用C库进行计算的程序,还是可以在很大程度上避开GIL来取得线程并行的效果的。但对于纯python代码的程序,GIL恐怕还是躲不过去的。

还有一个问题,就是GIL怎么释放,我们看到在python/C API中提供了宏来进行释放,那么对于普通的python语句呢?解释器会在执行一百条python代码后强制释放GIL,这就使得其它线程得以执行。

最后需要说明的,就是这个GIL的问题是解释器相关的,而不是语言相关的。也就是说它只是对于python语言解释器的一种实现,并不是语言本身的特性。事实上,GIL就是解释器的一个非常粗粒度的锁,我们完全可以采用更细粒度的锁来增加并行性,而且Gindo就写过一个patch来取消GIL,不过好像最后的结果是细粒度锁导致了单线程程序的性能下降了两倍,所以最后还是决定优先保证单线程程序的性能,继续保留GIL。但是python的其他两个分支,Jython和IronPython,却都没有GIL的问题,从而可以实现线程的并行。

 

总结:

通常加锁也有2种不同的粒度的锁:

fine-grained(所谓的细粒度), 那么程序员需要自行地加,解锁来保证线程安全

coarse-grained(所谓的粗粒度), 那么语言层面本身维护着一个全局的锁机制,用来保证线程安全

python从语言层面本身维护着一个全局的锁机制,用来保证线程安全;而java, Jython则是细粒度的。

所以也就是说,由于gil的限制,python语言本身是不能够进行并行编程的,但是可以进行并发编程;而java则没有gil意义上的限制,因此java从java7开始已经开始往并行上偏移了。

 

 

以上内容主要来自:http://software.intel.com/zh-cn/blogs/2009/11/10/python/

 

关于gil的问题,参考:http://blog.csdn.net/gvanrossum/archive/2007/09/12/1782752.aspx

 

http://www.qqread.com/other-devtool/r478310.html

  • 大小: 4.1 KB
分享到:
评论

相关推荐

    python 多线程实现多个网址的多次快速访问

    此外,Python的全局解释器锁(GIL)可能会限制多线程在CPU密集型任务上的性能提升。如果需要进一步提升性能,可以考虑使用多进程或异步IO(如`asyncio`库)。 总结,通过Python的多线程,我们可以有效地实现对多个...

    python多线程编程实现网络串口透传

    在Python多线程编程中,需要注意GIL(全局解释器锁)的存在,虽然Python的多线程在CPU密集型任务上可能表现不佳,但在I/O密集型任务(如网络和串口通信)中,由于线程间等待I/O的时间较长,多线程仍能有效提高程序...

    深入学习python多线程与GIL

    在禁用除主核心外的所有CPU核心后,多线程程序的执行时间仅略有减少,这进一步证明了GIL限制了Python多线程并行计算的能力。即使在多核环境下,多线程也无法充分利用所有核心,因为GIL强制所有Python字节码的执行在...

    Python多线程编程(6寸)[归纳].pdf

    Python多线程编程是利用Python实现程序并行性的一种方式,尤其适合于处理异步、并发事务和资源密集型任务。在多线程环境中,多个线程可以同时执行,提高程序效率,尤其对于那些需要从多个输入源处理数据或者进行大量...

    python多线程定时器

    总结起来,`python多线程定时器`的实现涉及到Python的`threading`和`time`模块,通过`Thread`和`Timer`类来创建和管理线程,使用定时器控制线程的启动时间。主程序`main.py`使用这些工具来安排多个任务按设定的间隔...

    PYthon-multithreading-Test.rar_python_python 多线程_python多线程_多线程

    本压缩包“PYthon-multithreading-Test.rar”包含了有关Python多线程测试的源码,旨在帮助用户深入理解和实践Python的线程操作。 Python中的多线程是通过`threading`模块实现的,这个模块提供了基本的线程和同步...

    Python多线程编程

    Python多线程编程文档说明 多进程编程 一、 multiprocessing 模块 1. multiprocessing 模块提供了多进程编程的能力 它的API非常类似于 threading 模块,但是也提供了一些threading 模块不具有的能力 相比于线程,它...

    浅析Python多线程与多进程的使用

    在多线程编程中,我们需要注意全局解释器锁(GIL),它是Python解释器为了保证线程安全而引入的一个机制,但同时也限制了多线程在CPU密集型任务中的性能,因为GIL使得Python在同一时刻只能有一个线程在执行。...

    基于Linux的python多线程爬虫程序设计.zip

    本主题“基于Linux的Python多线程爬虫程序设计”将深入探讨如何在Linux环境下利用Python实现多线程爬虫,以优化网络爬虫的性能。 首先,我们需要了解Python中的多线程。Python的`threading`模块提供了创建和管理...

    完整版 Python高级开发课程 高级教程 08 Python多线程 多进程开发.pptx

    然而,需要注意的是,由于全局解释器锁(GIL)的存在,Python的多线程在CPU密集型任务上并不能实现真正的并行执行,但在I/O密集型任务中,线程切换仍然能提供一定的并发性能。 多进程则是在操作系统层面实现的并行...

    python多线程编程.rar

    Python多线程编程是Python系统编程中的重要组成部分,它允许程序同时执行多个任务,从而提高程序的效率和响应速度。在Python中,我们通常使用内置的`thread`库、`threading`库以及`Queue`库来实现多线程。 首先,`...

    Python应用实战:python多线程-多线程安全问题&lock与rlock.zip

    总的来说,理解并正确使用锁和可重入锁是解决Python多线程安全问题的关键。在编写多线程程序时,合理地引入锁机制可以防止数据竞争,确保程序的正确性。但同时,过度使用锁可能导致程序的复杂性和性能下降,因此在...

    python多线程学习

    - **全局解释器锁(GIL)**:Python的CPython实现中存在GIL,这使得在同一时刻只有一个线程能够执行Python字节码,即使在多核处理器系统中,也限制了多线程并行执行的能力。因此,Python更适合于I/O密集型任务而不是...

    python多线程

    Python多线程是指在Python编程语言中使用线程来执行多任务的技术。线程是操作系统能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位。多线程编程是并发编程的一部分,其目的是为了提高程序的...

    python 多线程编程

    通过分析和学习这个文件,你可以进一步加深对Python多线程编程的理解,包括如何有效地使用线程池(`ThreadPoolExecutor`),以及如何处理线程异常和线程间的协作问题。 总之,Python的多线程编程虽然受到GIL的限制...

    《再谈Python的GIL》测试用例

    `count.py`可能是实现了一个简单的计数器功能,用于模拟多线程环境下的并发操作,以此来展示GIL如何影响Python多线程的性能。在Python中,即使在多线程环境下,由于GIL的存在,同一时刻只有一个线程能执行Python字节...

    Python多线程示例

    在这个"Python多线程示例"中,我们主要关注如何在Python环境中创建和管理线程。核心知识点包括: 1. **线程模块**:Python的`threading`模块提供了线程相关的所有功能。`Thread`类是其核心,通过实例化这个类可以...

    基于python的多线程例子,详细介绍了多线程处理

    在Python编程语言中,多线程是实现并发执行任务的重要机制。它允许程序同时执行多个不同的任务,从而提高效率和响应速度。在这个基于Python的多线程例子中,我们将深入探讨如何创建和管理线程,以及如何利用它们来...

    线程安全及Python中的GIL原理分析

    在多核时代的到来的背景下,基于多线程来充分利用硬件的编程方法也不断发展起来, 但是一旦 牵扯到多线程,就必然会涉及到一个概念,即 线程安全, 本文就主要谈下笔者对线程安全的一些理解. 而Python为很多人所抱怨的...

Global site tag (gtag.js) - Google Analytics