认识达内从这里开始

认真做教育专心促就业

达内贵阳IT培训：Python中与并发的并行

发布：贵阳达内培训
来源：达内新闻
时间：2020-10-23 17:31

python中的并发是同时发生的事情由线程，任务，进程调用（实际上还是按顺序运行的一系列指令）。宏观上看，线程，任务和进程是相同的，细节上他们代表不同的东西。事实上只有多进程在同一时间运行着多个任务，线程和异步都在单个处理器运行，即一次只能处理一个任务。

先占式多工法（pre-emptive multitasking）：操作系统知道每个线程，并且可以随时中断该线程后运行别的线程，即对线程进行切换。线程的切换可以发生在单个python语句里，在任何时候都可能需要进行任务切换。

多核CPU的并行，通过多进程，python创建新的进程（一般来说电脑几核就开几个进程）。每一个进程可以被看做是一个完全不同的程序，每一个进程都在自己的python解释器中运行。

并发在CPU绑定和IO绑定问题上有很大影响，因为需要等待外部资源的输入输出或者程序处理的是比CPU慢得多的东西（通常是文件系统和网络连接）。在程序里添加并发性会增加额外的代码和复杂性，需在确定加速之前评估是否值得这样做。如不好的架构会导致并发或并行无法发挥加速作用，而推倒重来很多时候不允许。

下面是多线程添加实例，以网络访问为例子：

未添加多线程的程序

import requestsimport timedef download_site(url,session):with session.get(url) as response:print(f"read {len(response.content)} from {url}")def download_all_sites(sites):with requests.Session() as session:for url in sites:download_site(url,session)if __name__ == '__main__':sites=["#","#/dice",]*40start_time=time.time()download_all_sites(sites)duration=time.time()-start_timeprint(f"downloaded {len(sites)}in {duration} seconds")

运行结果如下：

添加多线程后的代码

importconcurrent.futuresimportthreadingimportrequestsimporttimethread_local=threading.local()defget_session():ifnotgetattr(thread_local,"session",None):thread_local.session=requests.Session()returnthread_local.sessiondefdownload_site(url,session):session=get_session()withsession.get(url)asresponse:print(f"read{len(response.content)}from{url}")defdownload_all_sites(sites):withconcurrent.futures.ThreadPoolExecutor(max_workers=5)asexecutor:executor.map(download_site,sites)if__name__ =='__main__':sites=["#","#/dice",]*40start_time=time.time()download_all_sites(sites)duration=time.time()-start_timeprint(f"downloaded{len(sites)}in{duration}seconds")

运行结果：

可以看到，速度提升的效果非常大。ThreadPoolExecutor对象创建一个线程池，请求将在线程池进行。每个线程池可以并发运行，执行器控制着每个线程的运行方式和运行时间。标准库将ThreadPoolExecutor实现为上下文管理器，这样就可以使用with语法来管理线程池的创建和回收。并且可以使用其map方法将列表中的每个站点的运行传入函数。如果想进行更细节的线程池的管理和使用，可使用thread对象里的queue,start,join等函数。

然而，因为操作系统可以随时中断一个线程或启动另外一个线程，线程之间共享的数据需要得到保护来保证线程的安全。而requests.session()不是线程安全的，保护数据访问线程安全的策略有几种，一种是使用python队列模块中的queue（一种使用线程安全的数据结构）；或线程本地存储，如threading.local()方法。这个方法分离了不同线程对不同数据的访问过程。

在大多数操作系统，5到10个线程是效率较高的。线程可以以巧妙且难以检测的方式进行交互。这些交互可能导致随机的、间歇性的错误，且这些错误很难找到。

< 上一篇：如何用sum()函数给列表降维？

下一篇：达内贵阳IT培训：Vue 3.0 KO Vue 2.0 >