39.Python 线程池ThreadPoolExecutor(下)

最后更新于:2020-03-21 11:53:55

紧接着上一篇文章  python 线程池ThreadPoolExecutor(上) 我们继续对线程池深入一点了解,其实python中关于线程池,一共有两个模块:

1.threadpool — 是一个比较老的模块了,现在虽然还有一些人在用,但已经不再是主流了;

2.concurrent.futures — 目前线程池主要使用这个模块,主流模块;

 

ThreadPoolExecutor常用函数

除了 python 线程池ThreadPoolExecutor(上) 文章中介绍的  submit()  /  cancel()   /  done()  /  result()   函数外,今天还需要额外讲解一下另外几个函数:

 

1.as_completed

虽然 done() 函数提供了判断任务是否结束的方法,但是并不是太实用,因为我们并不知道线程到底什么时候结束,需要一直判断每个任务有没有结束。这时就可以使用 as_completed() 方法一次取出所有任务的结果。

as_completed() 方法是一个生成器,在没有任务完成的时候,会阻塞,在有某个任务完成的时候,就能继续执行for循环后面的语句,然后继续阻塞住,循环到所有的任务结束。

# !usr/bin/env python
# -*- coding:utf-8 _*-
"""
@Author:何以解忧
@Blog(个人博客地址): shuopython.com
@WeChat Official Account(微信公众号):猿说python
@Github:www.github.com

@File:python_ThreadPoolExecutor.py
@Time:2019/12/07 21:25

@Motto:不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
"""


from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video, (url)) for url in urls]

for task in as_completed(all_task):
    data = task.result()
    print("任务{} down load success".format(data))

输出结果:

download video 1 finished at 2019-12-07 02:33:00
任务1 down load success
download video 2 finished at 2019-12-07 02:33:00
任务2 down load success
download video 3 finished at 2019-12-07 02:33:02
任务3 down load success
download video 4 finished at 2019-12-07 02:33:02
任务4 down load success
download video 5 finished at 2019-12-07 02:33:04
任务5 down load success

代码分析:

5个任务,2个线程,由于在线程池构造的时候允许同时最多执行2个线程,所以同时执行任务1和任务2,重代码的输出结果来看,任务1和任务2执行后,for循环进入阻塞状态,直到任务1或者任务2结束之后才会for才会继续执行任务3/任务4,并保证同时执行的最多只有两个任务(关于自定义时间格式请参考: python time模块).

 

2.map

as_completed() 方法不同的是:map()方法能保证任务的顺序性,举个例子:如果同时下载5个视频,就算第二个视频比第一个视频先下载完成,也会阻塞等待第一个视频下载完成并通知主线程之后,第二个下载完成的视频才回通知主线程,保证按照顺序完成任务,下面举个例子说明一下:

from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(index)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [3, 2, 1, 4, 5]


for data in executor.map(download_video,urls):
    print("任务{} down load success".format(data))

输出结果:

download video 2 finished at 2019-12-07 03:38:55
download video 3 finished at 2019-12-07 03:38:56
任务3 down load success
任务2 down load success
download video 1 finished at 2019-12-07 03:38:56
任务1 down load success
download video 4 finished at 2019-12-07 03:39:00
任务4 down load success
download video 5 finished at 2019-12-07 03:39:01
任务5 down load success

代码分析:

重上面的输出结果看来,即便任务2比任务3先完成,for循环输出的内容依旧是提示先完成的任务3再完成任务2,根据列表urls顺序输出,保证任务的顺序性!

 

3.wait

wait()方法有点类似线程的join()方法,能阻塞主线程,直到线程池中的所有的线程都操作完成!实例代码如下:

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETED
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video,(url)) for url in urls]

wait(all_task,return_when=ALL_COMPLETED)

print("main ")

输出结果:

download video 2 finished at 2019-12-07 03:50:22
download video 1 finished at 2019-12-07 03:50:22
download video 3 finished at 2019-12-07 03:50:24
download video 4 finished at 2019-12-07 03:50:24
download video 5 finished at 2019-12-07 03:50:26
main

wait方法接收3个参数,等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED,表明要等待所有的任务都结束。可以看到运行结果中,确实是所有任务都完成了,主线程才打印出main。等待条件还可以设置为FIRST_COMPLETED,表示第一个任务完成就停止等待。

 

 

猜你喜欢:

1.python线程队列Queue-FIFO

2.python 异常处理

3.python __name__ == ‘__main__’详细解释

4.python 不定长参数 *argc,**kargcs

 

转载请注明猿说Python » python 线程池ThreadPoolExecutor(下)

 

技术交流、商务合作请直接联系博主
扫码或搜索:猿说python
python教程公众号
猿说python
微信公众号 扫一扫关注
赞赏

微信赞赏支付宝赞赏