python协程

Gevent官网文档地址： http://www.gevent.org/contents.html 进程、线程、协程区分 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在linux系统中，线程就是轻量级的进程，而我们通常也把协程称为轻量级的线程即微线程。 进程和协程 下面对比一下进程和协程的相同点和不同点： 相同点： 相同点存在于，当我们挂起一个执行流的时，我们要保存的东西： 栈， 其实在你切换前你的局部变量，以及要函数的调用都需要保存，否则都无法恢复 寄存器状态,这个其实用于当你的执行流恢复后要做什么 而寄存器和栈的结合就可以理解为上下文，上下文切换的理解： CPU看上去像是在并发的执行多个进程，这是通过处理器在进程之间切换来实现的，操作系统实现这种交错执行的机制称为上下文切换 操作系统保持跟踪进程运行所需的所有状态信息。这种状态，就是上下文。 在任何一个时刻，操作系统都只能执行一个进程代码，当操作系统决定把控制权从当前进程转移到某个新进程时，就会进行上下文切换，即保存当前进程的上下文，恢复新进程的上下文，然后将控制权传递到新进程，新进程就会从它上次停止的地方开始。 不同点： 执行流的调度者不同，进程是内核调度，而协程是在用户态调度，也就是说进程的上下文是在内核态保存恢复的

我们在上一章将生成器的时候最后写了，在Python2中生成器还扮演了一个重要的角色——实现Python的协程。那什么是协程呢？ 协程 协程是实现并发编程的一种方式。提到并发，肯很多人都会想到多线程/多进程模型，这就是解决并发问题的经典模型之一。在最初的互联网世界中，多线程/多进程就在服务器并发中起到举足轻重的作用。 但是随着互联网的发展，慢慢很多场合都会遇到C10K瓶颈，也就是同时连接到服务器的客户达到1W，于是，很多代码就跑崩溃，因为进程的上下文切换占用了大量的资源，线程也顶不住如此巨大的压力。这时候，NGINX就带着事件循环闪亮登场了。 事件循环启动一个统一的调度器，让调度器来决定一个时刻去运行哪个任务，于是省却了多线程中启动线程、管理线程、同步锁等各种开销。同一时期的NGINX，在高并发下也能保持资源消耗低、性能高，相比Apache也支持更多的并发连接。 再到后来，出现了一个很有名的名词——回调地狱(callback hell).很多写过JavaScript的朋友明白那是什么。大家惊喜的发现，这种工具很完美的继承了事件循环的优越性，同时还能提供async/await语法糖，解决了执行性和可读性共存的难题。于是，协程渐渐被更多人发现并看好，也有越来越多的人尝试用Node.js做起了后端开发。 回到Python中，使用生成器来实现协程已经是Python2时代的老方法了

下面内容主要摘抄自 python 官网， https://docs.python.org/3.7/glossary.html#glossary ，部分内容有删减。 2to3 一个将 Python 2.x 代码转换为 Python 3.x 代码的工具，能够处理大部分通过解析源码并遍历解析树可检测到的不兼容问题。 2to3 包含在标准库中，模块名为 lib2to3；并提供一个独立入口点 Tools/scripts/2to3。参见 2to3 - 自动将 Python 2 代码转为 Python 3 代码。 因为官方将在2020年不再支持 Python 2.x, 在遇到没有 Python 2.X 版本 的code 的时候，可以尝试使用这个工具将代码转化成Python 的版本。 abstract base class -- 抽象基类 抽象基类简称 ABC，是对 duck-typing 的补充，它提供了一种定义接口的新方式，相比之下其他技巧例如 hasattr() 显得过于笨拙或有微妙错误（例如使用 魔术方法）。ABC 引入了虚拟子类，这种类并非继承自其他类，但却仍能被 isinstance() 和 issubclass() 所认可；详见 abc 模块文档。 Python 自带许多内置的 ABC 用于实现数据结构（在 collections.abc 模块中）、数字（在 numbers 模块中）

请仔细理解如下的通俗描述 有一个老板想要开个工厂进行生产某件商品（例如剪子） 他需要画一些财力物力制作一条生产线，这个生产线上有很多的器件以及材料这些所有的为了能够生产剪子而准备的资源称之为：进程 只有生产线是不能够进行生产的，所以老板得找个工人来进行生产，这个工人能够利用这些材料最终一步步的将剪子做出来，这个来做事情的工人称之为：线程 这个老板为了提高生产率，想到了3种办法 在这条生产线上多招些工人，一起来做剪子，这样效率是成倍增长，即单进程多线程方式 老板发现这条生产线上的工人不是越多越好，因为一条生产线的资源以及草料毕竟有限，所以老板又花了些财力物理购置了另外一条生产线，然后再招些工人这样效率又再一步提高了，即多进程，多线程方式 老板发现，现在已经又和很多条生产线，并且每条生产线上已经有很多工人了（即程序是多进程的，每个进程中又有多个线程），为了再次提高效率，老板想了个损招，规定：如果某个员工在上班时没事或者再等待某些条件（比如等待另一个生产完谋道工序之后他才能再次工作），那么这个员工就利用这个时间去做其它的事情，那么也就是说：如果一个线程等待默写条件，可以充分利用这个时间去做其它事情，其实这就是协程方式 简单总结 进程是资源分配的单位 进程是操作系统调度的单位 进程切换需要的资源量最大，效率很低 线程切换需要的资源一般，效率一般（当然了，再不考虑GIL的情况下）

目录 协程基础 底层实现 介绍 安装 应用 协程实现 协程爬虫 协程实现socket并发 协程基础 底层实现 协程的底层是使用greenlet模块来实现的 from greenlet import greenlet def func1(): print("eat start")# 2 g2.switch() print("eat end")# 4 g2.switch() def func2(): print("play start")# 3 g1.switch() print("play end")# 5 g1 = greenlet(func1) g2 = greenlet(func2) g1.switch()# 1 介绍 当遇到IO操作时将程序切换到其他函数继续执行会提高CPU的利用效率 一个线程可以开启500个协程 更适用于网络操作中 安装 pip install gevent 应用 协程实现 from gevent import monkey;monkey.patch_all() # 将下面导入的所有的包中的阻塞操作封装成gevent可以识别的阻塞 # 没有这行代码time.sleep语句是不被gevent识别的 # 使用gevent一定要将这一行代码放到开头 import time import gevent def func1(): print("eat start")

1. 前言 之前我们学习了线程、进程的概念，了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题，都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。 随着我们对于效率的追求不断提高，基于单线程来实现并发又成为一个新的课题，即只用一个主线程（很明显可利用的cpu只有一个）情况下实现并发。这样就可以节省创建线进程所消耗的时间。 为此我们需要先回顾下并发的本质：切换+保存状态。 cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长。 在介绍进程理论时，提及进程的三种执行状态，而线程才是执行单位，所以也可以将上图理解为线程的三种状态 ： 一：其中第二种情况并不能提升效率，只是为了让cpu能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。 为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法，我们来简单复习一下： yiled可以保存状态，yield的状态保存与操作系统的保存线程状态很像，但是yield是代码级别控制的，更轻量级

本文是 Comyn 老师 Python 多线程课程的笔记，感谢老师优质的课程！ 两个概念： 并发：假同时，一段时间内同时处理多个任务，单核都可以； 并行：真同时，同时处理多个任务，必须多核。 主流操作系统上完成并发的手段有进程和线程，主流的编程语言提供了用户空间的调度：协程。Python 也不例外。 由于现在的操作系统上的进程越来越轻量，导致进程和线程之间的区别越来越少。事实上，Linux 并没有原生的线程，线程是通过进程实现的。 python 中每一个进程会启动一个解释器，而线程会共享一个解释器。 Python 中的线程是通过标准库 threading 实现的。而启动一个线程就是让这个线程执行一些逻辑，这些逻辑就对应一个函数。 >>> import threading >>> def worker(): # 让多个线程来执行它 ... print('work') ... >>> thread = threading.Thread(target=worker) # 创建了一个线程对象，target 参数是一个函数，即线程要执行的逻辑 >>> thread.start() # start 启动一个线程，执行完毕后，自动退出，Python 没有提供主动退出线程的方法 work 由于 python 没有提供退出线程的方法，因此我们一定不能在逻辑中定义死循环，不然线程无法退出。当然直接

python高级 和is的使用 is 判断地址 比较两个引用是否指向了同一个对象（引用比较） 判断值 比较两个对象是否相等 深拷贝和浅拷贝 深拷贝 返回拷贝过的新对象 是对于一个对象所有层次的拷贝（递归） 浅拷贝 两个变量指向同一地址 是对于一个对象的顶层拷贝 拷贝的是引用 动态语言 运行时可以修改类和对象的内容，有__slots__约束属性值 生成器 generator 定义 在Python中，这种一边循环一边计算的机制，称为生成器 生成式 可对返回的值进行加工 yield 返回当前值，暂停 send 发送一个值 协程 两个方法交替执行，模拟多任务实现方式之一 迭代器 iterator 定义 迭代是访问集合元素的一种方式。 迭代器是一个可以记住遍历的位置的对象。 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。 可以使用for循环和next() 生成器是迭代器，迭代器不一定是生成器 判断是否可以迭代 引用一个集合的模块 from collections.abc import Iterable,Iterator isinstance(listA, Iterator) iter函数 可迭代对象转换为迭代器 装饰器 decorator 闭包 方法内部声明方法，内部方法引用外部方法的变量，外部方法返回内部的引用 定义 拓展函数功能的一种函数，

人生苦短，我选Python 前文传送门 小白学 Python（1）：开篇 小白学 Python（2）：基础数据类型（上） 小白学 Python（3）：基础数据类型（下） 小白学 Python（4）：变量基础操作 小白学 Python（5）：基础运算符（上） 小白学 Python（6）：基础运算符（下） 小白学 Python（7）：基础流程控制（上） 小白学 Python（8）：基础流程控制（下） 小白学 Python（9）：基础数据结构（列表）（上） 小白学 Python（10）：基础数据结构（列表）（下） 小白学 Python（11）：基础数据结构（元组） 小白学 Python（12）：基础数据结构（字典）（上） 小白学 Python（13）：基础数据结构（字典）（下） 小白学 Python（14）：基础数据结构（集合）（上） 小白学 Python（15）：基础数据结构（集合）（下） 小白学 Python（16）：基础数据类型（函数）（上） 小白学 Python（17）：基础数据类型（函数）（下） 小白学 Python（18）：基础文件操作 小白学 Python（18）：基础文件操作 小白学 Python（19）：基础异常处理 小白学 Python（20）：迭代器基础 生成器 我们前面聊过了为什么要使用迭代器，各位同学应该还有印象吧（说没有的就太过分了）。

Python程序中的协程操作-greenlet模块 一、安装模块 安装：` pip3 install greenlet 二、greenlet实现状态切换 from greenlet import greenlet def eat(name): print('%s eat 1' %name) g2.switch('nick') print('%s eat 2' %name) g2.switch() def play(name): print('%s play 1' %name) g1.switch() print('%s play 2' %name) g1=greenlet(eat) g2=greenlet(play) g1.switch('nick')#可以在第一次switch时传入参数，以后都不需要 单纯的切换（在没有io的情况下或者没有重复开辟内存空间的操作），反而会降低程序的执行速度。 三、效率对比 #顺序执行 import time def f1(): res=1 for i in range(100000000): res+=i def f2(): res=1 for i in range(100000000): res*=i start=time.time() f1() f2() stop=time.time() print('run time is %s' %