`

小练手:用Python实现多线程计算大数组元素和

阅读更多

刚学Python三四天,记得不久前面试被问过一道用多线程实现计算大数组元素之和的问题,就顺路用Python来实现了一下。

刚学Python不久,如果程序上有什么实现错误,请各位大哥不吝指点下哈~~

代码如下:

#coding: UTF-8

"""
经过非正规的测试,多线程并行计算并未像想象中那样会比串行计算快。
相反,在我的PC上运行后,多线程并行计算反而慢了。
不知是计算量不够大,还是怎么。(本身内存有限,无法无限加大,在有限测试范围内,结果如上)
过程是:随着计算线程数的增加,计算时间会下降,但到了一定数量(不同机器有所不同)后,计算时间反而增加。
因为很大一部分增加的时间是耗费在线程的创建上的。
"""


import threading
import random
import time

class calthread(threading.Thread):
    #初始化函数
    def __init__(self,threadname,cond,startN,endN):
        threading.Thread.__init__(self,name = threadname)
        self.cond = cond
        self.startN = startN
        self.endN = endN
        #print "MyName: " + threadname +",start--" +str(startN) +",end--"+str(endN)
    #业务函数
    def run(self):
        global sumN,alist,countFinish
        temp = 0
        for i in range(self.startN,self.endN + 1):
            temp = temp + alist[i]
        #累加计算和,并累加完成计数器
        self.cond.acquire()
        countFinish += 1
        sumN += temp
        #print "MyName: " + self.getName() +",mySum--" +str(temp) +",countFinish--"+str(countFinish)+",currentTotalSum---"+str(sumN)+"\n"
        global threadN
        if(countFinish == threadN):
            print "End time of threadCal -- " + str(time.time())
            print "The total sum : " + str(sumN) + "\n"
        self.cond.release()

#获取线程锁
cond = threading.Condition()
#目标计算数组的长度
alen = 10000000
#执行计算工作的线程长度
threadN = 10000
#随机初始化数组元素
alist = []
#alist = [random.uniform(1,1000) for x in range(0,alen)]
for i in range(1,alen+1):
    alist.append(i)

#执行线程对象列表
threadL  = [] 
t = alen/threadN
print "初始化线程"
for x in range(0,threadN):
    startN = x*t
    endN = 0
    if((x+1)*t >= alen):
        endN = alen - 1
    else:
        if(x == threadN - 1):
            endN = alen - 1
        else:
            endN = (x+1)*t - 1
    #向列表中存入新线程对象
    threadTT = calthread("Thread--"+str(x),cond,startN,endN)
    threadL.append(threadTT)

#总计完成线程计数器
countFinish = 0
sumN = 0
print "Start time of threadCal--"+ str(time.time())
for a in threadL:
    a.start()

time.sleep(10)
normalSum = 0
print "Start time of normalCal--"+ str(time.time())
for n in range(0,alen):
    normalSum += alist[n]
print "End time of normalCal--"+ str(time.time())

print "Normal : " + str(normalSum) + "\n"

结语:

   经过非正规的测试,多线程并行计算并未像想象中那样会比串行计算快。
相反,在我的PC上运行后,多线程并行计算反而慢了。
不知是计算量不够大,还是怎么。(本身内存有限,无法无限加大,在有限测试范围内,结果如上)
过程是:随着计算线程数的增加,计算时间会下降,但到了一定数量(不同机器有所不同)后,计算时间反而增加。
因为很大一部分增加的时间是耗费在线程的创建上的。

分享到:
评论

相关推荐

    Python应用实战:python多线程-多线程安全问题&lock与rlock.zip

    在Python中,由于全局解释器锁(GIL)的存在,Python的多线程并不能实现真正的并行计算,但仍然可能遇到线程安全问题,如数据竞争、死锁等。 数据竞争是多线程环境中常见的问题,当两个或多个线程同时访问并修改...

    python 实现多线程下载m3u8格式视频并使用fmmpeg合并

    3. **多线程下载**:利用Python的`threading`模块创建多个线程,每个线程从任务队列中取出一个TS片段的URL进行下载。为了保证TS文件的顺序,我们预先在文件中写入了每个TS文件的名称,这在后续的合并过程中非常重要...

    python多线程编程实现网络串口透传

    Python多线程编程在实现网络串口透传中扮演着重要的角色,特别是在处理TCP客户端网口数据时。网络串口透传技术允许通过网络连接模拟串行通信,使得远程设备可以像连接本地串口一样进行通信。这在物联网(IoT)、远程...

    python多线程同步之文件读写控制

    在Python编程中,多线程同步对于文件读写控制至关重要,因为如果不加以控制,多个线程同时访问同一文件可能会导致数据不一致或者错误。这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 ...

    python selenium chrome 多开 多线程

    本主题聚焦于如何使用Python的Selenium与Chrome浏览器进行多开和多线程操作,结合phantomjs和chromedriver这两个关键组件来实现。首先,让我们详细了解一下这些概念。 1. **Selenium**: Selenium是一个强大的Web...

    混淆矩阵:基于python实现的混淆矩阵计算

    混淆矩阵:基于python实现的混淆矩阵计算

    python小练手

    在“python小练手”这个项目中,我们可以看到作者通过一系列的小练习来不断提升自己的Python编程技能。这些小项目是学习和巩固Python基础知识的好资源,涵盖了从基础语法到实际应用的各种方面。下面,我们将深入探讨...

    python多线程编程.rar

    在Python中,我们通常使用内置的`thread`库、`threading`库以及`Queue`库来实现多线程。 首先,`thread`库是Python的低级线程模块,提供了基本的线程和锁定支持。它包含`Thread`类,可以创建新的线程,并有`start()...

    《OpenCV 3计算机视觉:Python语言实现》代码

    OpenCV 3计算机视觉:Python语言实现 (Joe Minichino)

    Python 多线程读写 OPC DA

    总结起来,这个项目使用Python 3.8.2和win32com库实现了对OPC DA服务器的多线程读写操作,并通过`MqttClient.py`将数据桥接到MQTT服务器,实现了工业控制系统数据的高效传输和远程管理。这样的解决方案在自动化、...

    python多线程定时器

    总结起来,`python多线程定时器`的实现涉及到Python的`threading`和`time`模块,通过`Thread`和`Timer`类来创建和管理线程,使用定时器控制线程的启动时间。主程序`main.py`使用这些工具来安排多个任务按设定的间隔...

    python实现判断数组是否包含指定元素的方法

    本文实例讲述了python实现判断数组是否包含指定元素的方法。分享给大家供大家参考。具体如下: python判断数组是否包含指定的元素的方法,直接使用in即可,python真是简单易懂 print 3 in [1, 2, 3] # membership ...

    单线程与多线程python爬虫地图瓦片源码

    在Python中,可以使用`threading`模块创建和管理线程。 标题中的“单线程与多线程Python爬虫”涉及的核心是如何利用线程技术优化地图瓦片的下载过程。单线程爬虫适用于小型项目,其代码简单易懂,但当需要下载大量...

    python多线程爬虫爬取电影天堂资源

    Python多线程爬虫爬取电影天堂资源是一个实用且具有挑战的项目。以下是对该项目的详细说明: 1. 项目概述: 该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型...

    python多线程池离线安装包.zip

    本离线安装包“python多线程池离线安装包.zip”包含了实现Python多线程所需的关键组件。主要包含以下三个子文件: 1. `pip-19.2.3.tar.gz`:这是Python的包管理器pip的一个版本,用于安装和管理Python库。在离线...

    OpenCV 3计算机视觉 Python语言实现(第二版) PDF+代码

    《OpenCV 3计算机视觉 Python语言实现(第二版)》是一本深入介绍使用Python编程语言与OpenCV库进行计算机视觉应用开发的专业书籍。OpenCV(开源计算机视觉库)是一个广泛应用于图像处理和计算机视觉领域的强大工具,...

    python实现多线程下载大量图片的代码

    python实现多线程下载大量图片的代码,代码中加入了代理ip,加入了随机head,这两项内容可以防止客户机ip被屏蔽,从目前测试的结果来看,代码的使用效果非常好,对于有需要的小伙伴可以下载使用。同理该代码可以用于...

    python3 多线程压缩文件

    python3 多线程压缩文件

    【课程代码】从零写Python练手项目:实用脚本,python编程从零基础到项目实战,Python

    标题中的“【课程代码】从零写Python练手项目:实用脚本,python编程从零基础到项目实战,Python”表明这是一个针对初学者的Python编程课程,旨在通过实际的脚本编写项目,帮助学习者从零开始掌握Python编程并进行实战...

    课程设计、毕业设计以及练手的优质python小游戏项目-玛丽冒险.rar

    课程设计、毕业设计以及练手的优质python小游戏项目--玛丽冒险 课程设计、毕业设计以及练手的优质python小游戏项目--玛丽冒险 课程设计、毕业设计以及练手的优质python小游戏项目--玛丽冒险 课程设计、毕业设计以及...

Global site tag (gtag.js) - Google Analytics