asyncio

2020 年 4 月 20 日，Python 2 的最后一个版本 2.7.18 发布了，这意味着 Python 2 是真正的 EOL（end of life）了，一个时代终于落幕了。 Python 2.0 版本是在 2000 年发布的，至今正好到 20 周年（差半年），一代版本竟然持续了这么长时间。其中，2.7 版本是在 Python 3 推出后才发布的，它在 2010 年发布，至今已是 10 年之久。 这里还要注意： 不管你是为了Python就业还是兴趣爱好，记住：项目开发经验永远是核心，如果你没有2020最新python入门到高级实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，里面很多新python教程项目，还可以跟老司机交流讨教！ 事实上，Python 诞生了 30 年，但版本演进过程一直很慢，目前最新发布的版本只到 3.8.2。 对比一下相差几岁的隔壁家选手，C++ 已经发展到了 20，JAVA 发展到了 14 ，PHP 到了 7.4，差距悬殊。 但是，版本发布太频繁，也不总是一件好事。就在 Python 程序员抱怨自己的 Python 2 项目还没升 3 版本时，有些 JAVA 程序员还在维护 6、7 版本的项目呢。版本迁移之苦，大家彼此彼此，五十步笑百步。 编程语言跨版本间出现不兼容的特性，几乎是常态。很多时候

【目录】 一 IO模型介绍 二 阻塞IO(blocking IO) 三 非阻塞IO(non-blocking IO) 四 多路复用IO(IO multiplexing) 五 异步IO(Asynchronous I/O) 六 IO模型比较分析 七 selectors模块 本文讨论的背景是Linux环境下的network IO 一、 IO模型介绍 回顾： 同步/异步 阻塞/非阻塞 1、IO分类 同步（synchronous） IO 异步（asynchronous） IO 阻塞（blocking） IO 非阻塞（non-blocking）IO 2、IO模型 五种IO Model： * blocking IO、 * nonblocking IO、* IO multiplexing 、* signal driven IO 、* asynchronous IO （由于signal driven IO（信号驱动IO）在实际中并不常用，所以主要介绍其余四种 IO Model） 3、IO发生时涉及的对象和步骤 对于一个network IO (这里我们以read举例)，它会涉及到两个系统对象—— 一个是 调用这个IO的process (or thread)，另一个就是 系统内核(kernel)。 当一个read操作发生时，该操作会经历两个阶段： #1）等待数据准备 (Waiting for the

进程、线程和协程的调度和运行原理总结。 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程、进程、协程通信(五) python并发编程之进程、线程、协程的调度原理(六) python并发编程之multiprocessing进程windows和linux环境的对比(七) 进程、线程的调度策略介绍 linux的操作系统详细调度策略可参考： http://blog.csdn.net/gatieme/article/details/51872659 linux中的进程主要有三种调度策略： 优先级调度：将进程分为普通进程和实时进程； 先进先出（队列）调度：实时进程先创建的先执行，直到遇到io或主动阻塞。 轮转调度（时间片）：达到一定的CPU执行时间后强制切换； 多进程程序的调度其实还是线程的调度，线程才是CPU调度的基本单位；在同一个进程内线程切换不会产生进程切换，由一个进程内的线程切换到另一个进程内的线程时，将会引起进程切换。 引起进程or线程调度的原因 正在执行的进程执行完毕； 执行中进程发生阻塞；（如调用sleep） 执行中进程调用了P原语操作，从而因资源不足而被阻塞

Python并发与并行的新手指南：http://python.jobbole.com/81260/ Python 中的多线程，多进程，并发，并行，同步，通信：https://blog.csdn.net/timemachine119/article/details/54091323 python进阶笔记 thread 和 threading模块学习 ：https://www.cnblogs.com/forward-wang/p/5970640.html python concurrent.futures ：concurrent.futures模块，可以利用multiprocessing实现真正的平行计算 python并发之concurrent.futures：https://blog.csdn.net/dutsoft/article/details/54728706 python之concurrent.futures模块 ：https://www.cnblogs.com/skiler/p/7080179.html 深入理解 Python 异步编程(上)： http://python.jobbole.com/88291/ Python并发编程之协程/异步IO Python 中的异步编程：Asyncio： http://python.jobbole.com/87988/

python的multiprocessing模块是用来创建多进程的，下面对multiprocessing总结一下使用记录。 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程、进程、协程通信(五) python并发编程之进程、线程、协程的调度原理(六) python并发编程之multiprocessing进程windows和linux环境的对比(七) fork() import os pid = os.fork() # 创建一个子进程 if pid == 0: print('这是子进程') print(os.getpid(),os.getppid()) else: print('这是父进程') print(os.getpid()) os.wait() # 等待子进程结束释放资源 fork函数被调用后会返回两次，pid为0的代表子进程，其他返回子进程的id号表示父进程。 getpid和getppid函数可以获取本进程和父进程的id号； fork方式的缺点： 兼容性差，只能在类linux系统下使用，windows系统不可使用； 扩展性差，当需要多条进程的时候，进程管理变得很复杂；

如果你想了解异步编程，那么必然会涉及出许多相关概念。 堵塞/非堵塞 同步/异步 多进程/多线程/协程 为什么我要学习这个话，因为我想搞懂异步框架和异步接口的调用。所以，我的学习路线是这样的： 1.python异步编程 2.python Web异步框架（tornado/sanic） 3.异步接口调用（aiohttp/httpx） 那么异步编程有什么好处？在某些场景下它可以提高性能。我们知道CPU的速度快于磁盘、网络等IO。一旦遇到IO操作，如读写文件、发送网络数据时，就需要等待IO操作完成，才能进行下一步操作。这种情况称为同步IO。我们可以使用多线程来解决这类问题，另一种方式是通过异步。 python在3.4版本引入asyncio，到 3.5版本又加入async/await来简化异步的使用。 先来举个简单的例子，假如，你和女朋友逛街。你的目的是去看新上市的华为P40手机，而你女朋友是去看新款的衣服。你们的逛街流程是这样的。 import time def clothes_shop(): print("女朋友看衣服..") time.sleep(8) print("...出来了") def huawei_shop(): print("体验手机..") time.sleep(5) print("...出来了") print(time.ctime(), "开始逛街") clothes

一、概述 aiomysql是一个从asyncio（PEP-3156/tulip）框架访问MySQL数据库的库。它依赖并重用PyMySQL的大部分部分。aiomysql试图成为一个很棒的aiopg库，并保留相同的api、外观和感觉。 在内部aimysql是PyMySQL的副本，底层io调用切换到async，基本上是等待并在适当的位置添加async def coroutine。从aiopg移植的sqlalchemy支持。 安装模块 pip3 install aiomysql 简单示例 import asyncio import aiomysql loop = asyncio.get_event_loop() async def test_example(): conn = await aiomysql.connect(host= ' 127.0.0.1 ' , port=3306 , user = ' root ' , password= '' , db= ' mysql ' , loop = loop) cur = await conn.cursor() await cur.execute( " SELECT Host,User FROM user " ) print (cur.description) r = await cur.fetchall() print (r) await

原文： Async IO in Python: A Complete Walkthrough 原文作者： Brad Solomon 原文发布时间：2019年1月16日 翻译：Tacey Wong 翻译时间：2019年7月22日 翻译仅便于个人学习，熟悉英语的请阅读原文 目录 搭建自己的实验环境 异步IO鸟瞰图 哪些场景适合异步IO？ 异步IO释义 异步IO使用起来不容易 asyncio 包和 async/await async/await 语法和原生协程 异步IO规则 异步IO设计模式 链式协程 使用队列 生成器中异步IO的Roots 其他特点: async for and Async Generators + Comprehensions 事件循环和 asyncio.run() 一个完整的程序：异步请求 上下文中的异步IO 何时以及为何异步IO是正确的选择？ Async IO It Is, but Which One? 其他零碎 [其他顶级asyncio 函数](#其他顶级asyncio 函数) await的优先级 总结 附加资源 Python版本细节 相关文章 相关PEPs 使用async/await的库 Async IO是一种并发编程设计，Python中已经有了独立的支持，并且从Python3.4到Python3.7得到了快速发展。 你可能疑惑，“并发、并行、线程、多处理”

python异步IO编程(一) 基础概念 协程： python generator与coroutine 异步IO （async IO）：一种由多种语言实现的与语言无关的范例（或模型）。 asyncio：Python 3.4版本引入的标准库，直接内置了对异步IO的支持。 异步IO 线程，多线程 多线程善于处理I/O密集型任务。 多进程擅长处理计算密集型（CPU-bound）任务：强密集循环和数学计算都属于此类。 并发是并行的一种特殊类型（或者说子类），多线程是并发的表现形式，多进程是并行的表现形式。 Python通过它的包 multiprocessing，threading 和 concurrent.futures 已经对这两种形式都提供了长期的支持。 异步IO 异步IO是一种单进程、单线程的设计：它使用协同多任务处理机制，是以协程为核心的一种编程模型。 异步IO并不是新发明的概念，它已经存在或正在被构建到其他语言及运行时环境中，如 Go，C# 和 Scala 等。 异步IO模型异步IO采用消息循环的模式，在消息循环中，主线程不断地重复“读取消息-处理消息”这一过程： loop = get_event_loop() // 实例消息队列 while True: event = loop.get_event() // 从队列中读取消息 process_event(event) /

进程是系统进行资源分配最小单元,线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.进程在执行过程中拥有独立的内存单元，而多个线程共享内存等资源。 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程、进程、协程通信(五) python并发编程之进程、线程、协程的调度原理(六) threading模块创建线程 import threading from threading import Thread def test(x): print('this is {}'.format(x)) time.sleep(2) def get_thread(number=5): l_thread = (Thread(target=test, args=(i,)) for i in range(number)) for t in l_thread: print(t) t.start() # 启动线程开始执行 print(len(threading.enumerate())) if __name__ == '__main__': get_thread(5) #