[python基础] 多进程、多线程

提高爬虫效率—并发爬取智联招聘（多进程方式）

 

多进程的核心代码：

from multiprocessing import Pool
#multiprocessing是Python自带的一个多进程模块，在此我们使用其Pool方法。

if __name__ == '__main__':
    pool = Pool(processes=2)
    pool.map_async(get_zhaopin,range(1,pages+1))
    pool.close()
    pool.join()

 

实例化一个进程池，设置进程为2；

调用进程池的map_async()方法，接收一个函数(爬虫函数)和一个列表(url列表)