博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python基础之使用期物处理并发
阅读量:7120 次
发布时间:2019-06-28

本文共 1709 字,大约阅读时间需要 5 分钟。

导语:本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流。

本文重点:

1、掌握异步编程的相关概念;
2、了解期物future的概念、意义和使用方法;
3、了解Python中的阻塞型I/O函数释放GIL的特点。

一、异步编程相关概念

阻塞:程序未得到所需计算资源时被挂起的状态。换句话说,程序在等待某个操作完成期间,自身无法继续干别的事情,则称该程序在该操作上是阻塞的。

并发:描述的是程序的组织结构。指程序要被设计成多个可独立执行的子任务。并发以利用有限的计算机资源使多个任务可以被实时或近实时执行为目的。
并行:指的是多任务同时执行的程序状态,以利用多核CPU加速完成多任务为目的。
异步:为完成某个任务,不同程序单元之间过程中无需通信协调,也能完成任务的方式。
不相关的程序单元之间可以是异步的。简言之,异步意味着无序。
异步编程:以进程、线程、协程、函数/方法作为执行任务的基本单位,结合回调,事件循环、信号量等机制,以提高整体执行效率和并发能力的编程方式。

二、期物

就下载国旗为目标实现的三个客户端中,两个HTTP并发客户端比依序下载的脚本性能高很多。

由此说明使用并发可以高效处理网络I/O。

期物(future)指一种对象,表示异步执行的操作。

期物对象:concurrent.futures.Future或asyncio.Future类的实例。
三大方法:

  • Executor.submit():创建期物。
  • concurrent.futures.as_completed():迭代运行结束的期物,返回一个迭代器。
  • Executor.map(): 处理参数不同的同一个可调用对象。

小结:Executor.submit()加futures.as_completed()的组合比Executor.map()更灵活,因为submit()能处理不同的可调用对象和参数。

concurrent.futures模块的主要特色是ThreadPoolExecutor和ProcessPoolExecutor类,这两个类实现的接口能分别在不同的线程或进程中执行可调用的对象。

注意:通常情况下自己不应该创建期物,而只能由并发框架(concurrent.futures或asyncio)实例化。

实例:concurrent.futures模块应用

from concurrent import futuresfrom flags import save_flag, get_flag, show, main MAX_WORKERS = 20def download_one(cc):     image = get_flag(cc)    show(cc)    save_flag(image, cc.lower() + '.gif')    return ccdef download_many(cc_list):    workers = min(MAX_WORKERS, len(cc_list))      with futures.ThreadPoolExecutor(workers) as executor:         res = executor.map(download_one, sorted(cc_list))      return len(list(res))if __name__ == '__main__':    main(download_many)

三、阻塞性I/O与GIL

Python标准库中所有阻塞型I/O函数都会释放全局解释器锁(GIL),允许其他线程运行。

因此尽管有GIL,Python线程仍然适合在I/O密集型系统使用。

四、线程和多进程的替代方案

  • 对CPU密集型工作来说,要启动多个进程,规避GIL。
  • 创建多进程最简单的方式是使用futures.ProcessPoolExecutor类。
  • threading和multiprocessing模块:是Python中多线程和多进程并发的低层实现。

转载地址:http://hgiel.baihongyu.com/

你可能感兴趣的文章
开发环境eclipse for Mac 下的常用快捷键汇总(基本参照Win系,将Ctrl换为Command)
查看>>
tree与GridView交互
查看>>
zz 鸡汤穷三代,励志毁一生
查看>>
小学期实践心得(2)
查看>>
c#获取电脑硬件信息参数说明(CPU篇 Win32_Processor)
查看>>
oracle报错注入的一些函数
查看>>
Android下载图片/调用系统相机拍照、显示并保存到本地
查看>>
LeetCode算法题-Detect Capital(Java实现)
查看>>
Java GC 原理
查看>>
strust2 和 hibernate的整合------登录的实现
查看>>
关于BOF改进方法的一些introduction
查看>>
20165323 第一周学习总结
查看>>
第二章 例题2-11
查看>>
系统参数递归
查看>>
tomcat详细日志配置
查看>>
Docker学习笔记1
查看>>
字符编码-Unicode等
查看>>
mind map in latex
查看>>
郑捷《机器学习算法原理与编程实践》学习笔记(第四章 推荐系统原理)(三)SVD...
查看>>
log4j整理
查看>>