44.python 进程池multiprocessing.Pool

最后更新于:2020-02-26 00:00:51

python进程池Pool 和前面讲解的 python线程池 类似,虽然使用多进程能提高效率,但是进程的创建会消耗大量的计算机资源(进程Process的创建远远大于线程Thread创建占用的资源),线程是计算机最小的运行单位,连线程都需要使用线程池,进程有什么理由不使用进程池?

不要问我为什么

 

需要注意的是,在Windows上要想使用进程模块,就必须把有关进程的代码写在if __name__ == ‘__main__’ 内,否则在Windows下使用进程模块会产生异常。Unix/Linux下则不需要。

心塞塞

 

一.进程池Pool介绍

Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果池满,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求。

 

1、apply() — 该函数用于传递不定参数,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现),函数原型如下:

2、apply_async — 与apply用法一致,但它是非阻塞的且支持结果返回后进行回调,函数原型如下:

3、map() — Pool类中的map方法,与内置的map函数用法基本一致,它会使进程阻塞直到结果返回,函数原型如下:

注意:虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

4、map_async() — 与map用法一致,但是它是非阻塞的。其有关事项见apply_async,函数原型如下:

5、close() — 关闭进程池(pool),使其不在接受新的任务。

6、terminal() — 结束工作进程,不在处理未处理的任务。

7、join() — 主进程阻塞等待子进程的退出, join方法要在close或terminate之后使用。

 

二.进程池Pool使用

输出结果:

代码分析:

5个任务,3个进程,由于在进程池构造的时候允许同时最多执行3个进程,所以同时执行任务1/任务2/任务3,重代码的输出结果来看,任务1/任务2/任务3执行后,for循环进入阻塞状态,直到任务1/任务2/任务3其中一个结束之后才会for才会继续执行任务4/任务5,并保证同时执行的最多只有3个任务( 进程池multiprocessing.Pool 和 线程池ThreadPoolExecutor 原理相同).

ojbk

 

猜你喜欢:

1.python 线程池ThreadPoolExecutor

2.python 进程Process

3.python 进程Process和线程threading区别

4.python 进程间通信Queue/Pipe

5.python 进程互斥锁Lock

 

转载请注明猿说Python » python 进程池multiprocessing.Pool

 

技术交流、商务合作请直接联系博主
扫码或搜索:猿说python
python教程公众号
猿说python
微信公众号 扫一扫关注