python协程

一、如何提高Python的运行效率： 1、使用生成器，因为可以节约大量内存 2、循环代码优化，避免过多重复代码的执行 3、核心模块用Cython PyPy等，提高效率 4、多进程、多线程、协程 5、多个if elif条件判断，可以把最有可能先发生的条件放到前面写，这样可以减少程序判断的次数，提高效率。 二、举例说明zip函数的用法： list1 = [1,3,5] list2 = [2,4,6] zipped = zip(list1, list2) print(list(zepped)) # [(1,2),(3,4),(5,6)] print(list(zip(*zipped)) # [(1,3,5),(2,4,6)] 三、举例说明异常模块中try except else finally的相关意 try.. except.. else没有捕获到异常，执行 else语句 try.. except.. finally不管是否捕获到异常，都执行 finally语句 四、logging模块的使用？ import logging logging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s') logger = logging.getLogger(

目录 概念介绍 测试环境 开始测试 测试【单进程单线程】 测试【多进程 并行】 测试【多线程 并发】 测试【协程 + 异步】 结果对比 绘图展示 概念介绍 首先简单介绍几个概念： 进程和线程 进程就是一个程序在一个数据集上的一次动态执行过程（数据集是程序在执行过程中所需要使用的资源）。 线程也叫轻量级进程，它是一个基本的 CPU 执行单元，是比进程更小的能独立运行的基本单位。 进程和线程的关系： 一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。 资源分配给进程，同一进程的所有线程共享该进程的所有资源。 CPU 分给线程，即真正在 CPU 上运行的是线程。 并行和并发 并行处理是计算机系统中能同时执行两个或更多个处理的一种计算方法。并行处理可同时工作于同一程序的不同方面，其主要目的是节省大型和复杂问题的解决时间。 并发处理指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个 CPU 上运行，但任一个时刻点上只有一个程序在 CPU 上运行。 并发的关键是你有处理多个任务的能力，不一定要同时。并行的关键是你有同时处理多个任务的能力。所以说，并行是并发的子集。多进程是并行的，多线程是并发的。 同步和异步 同步就是指一个进程在执行某个请求的时候，若该请求需要一段时间才能返回信息，那么这个进程将会一直等待下去，直到收到返回信息才继续执行下去。

　 　 cpu 正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制）： 　　​一种情况是该任务发生了阻塞； 　　另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它。 1、什么是协程？ 　　 协程本质上就是一个线程，以前线程任务的切换是由操作系统控制的，遇到 I/O 自动切换，现在我们用协程的目的就是较少操作系统切换的开销（开关线程，创建寄存器、堆栈等，在他们之间进行切换等），在我们自己的程序里面来控制任务的切换。 2、通过yield实现协程 　　上述第二种情况并不能提升效率，只是为了让 cpu 能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。为此我们可以基于 yield 来验证。 yield 本身就是一种在单线程下可以保存任务运行状态的方法 　　第一种情况的切换。在任务一遇到 io 情况下，切到任务二去执行，这样就可以利用任务一阻塞的时间完成任务二的计算，效率的提升就在于此。 　　 yiled 可以保存状态， yield 的状态保存与操作系统的保存线程状态很像，但是 yield 是代码级别控制的，更轻量级 　　 send 可以把一个函数的结果传给另外一个函数，以此实现单线程内程序之间的切换 import time def consumer(): while True: x=yield

目录 Python 全栈 一. Python 1. Python基础知识部分 2. Python -函数 3. Python - 模块 4. Python - 面对对象 5. Python - 文件操作 6. Python - python中经常踩得的坑 7. Python - 网络编程 8. Python - 并发编程 二. 数据库 Mysql Redis MongoDB SQLAlchemy 三. 前端 前端 - HTML 前端 - CSS 前端 - Javescript 前端 - JQuery 前端 - Bootstrapt 前端 - Element-ui 前端 - vUE 四. Python Web 框架 1. Python Web 框架 - Django 2. Python Web 框架 - Flask 3. Python Web 框架 - Tronado 4. RESTful framework 五. Linux Linux - redis Linux - 运维开发 版本控制 - git 数据采集(爬虫) 数据分析 数据结构与算法 go语言 人工智能 其他 Python 全栈 一. Python 1. Python基础知识部分 Python Python那点事 Python windows和linux下 Python2,Python3 Python 开启入坑之路

Python中 yield 关键字的用途是什么？ 它有什么作用？ 例如，我试图理解这段代码 1 ： def _get_child_candidates(self, distance, min_dist, max_dist): if self._leftchild and distance - max_dist < self._median: yield self._leftchild if self._rightchild and distance + max_dist >= self._median: yield self._rightchild 这是呼叫者： result, candidates = [], [self] while candidates: node = candidates.pop() distance = node._get_dist(obj) if distance <= max_dist and distance >= min_dist: result.extend(node._values) candidates.extend(node._get_child_candidates(distance, min_dist, max_dist)) return result 调用 _get_child_candidates 方法时会发生什么？ 是否返回列表？

def apply_async(func, args=(), callable=None): """需要调用的回调函数的函数""" result = func(*args) # 元组拆包*args callable(result) def print_result(result): """打印日志信息""" print("Got:", result) def add(x, y): """计算函数""" return x + y class ResultHandler: """第一种 保存内部序列号""" def __init__(self): self.sequence = 0 def handler(self, result): self.sequence += 1 print('[{}] Got:{}'.format(self.sequence, result)) def make_handler(): """第二种 类的替代,可以使用闭包捕获状态值""" sequence = 0 def handler(result): nonlocal sequence # 只能用于嵌套函数中 sequence += 1 print('[{}] Got:{}'.format(sequence, result)) return handler def make_handler_2(): ""

用 greenlet 协程处理异步事件 自从 PyCon 2011 协程成为热点话题以来，我一直对此有着浓厚的兴趣。为了异步，我们曾使用多线程编程。然而线程在有着 GIL 的 Python 中带来的性能瓶颈和多线程编程的高出错风险，“协程 + 多进程”的组合渐渐被认为是未来发展的方向。技术容易更新，思维转变却需要一个过渡。我之前在异步事件处理方面已经习惯了回调 + 多线程的思维方式，转换到协程还非常的不适应。这几天我非常艰难地查阅了一些资料并思考，得出了一个可能并不可靠的总结。尽管这个总结的可靠性很值得怀疑，但是我还是决定记录下来，因为我觉得既然是学习者，就不应该怕无知。如果读者发现我的看法有偏差并指出来，我将非常感激。 多线程下异步编程的方式 线程的出现，为开发者带来了除多进程之外另一种实现并发的方式。比起多进程，多线程有另一些优势，比如可以访问进程内的变量，也就是共享资源。还有的说法说线程创建比进程创建开销低，考虑到这个问题在 Windows 一类进程创建机制很蹩脚的系统才存在，故先忽略。总的来说，线程除了可以实现进程实现的“并发执行”之外，还有另一个功能，就是管理应用程序内部的“事件”。我不知道把这种事件处理分类到异步中是不是合适，但事件处理一定是基于共享进程内资源才能实现的，所以这是多线程可以做到而多进程做不到的一点。 异步处理基于两个前提。第一个前提是支持并发

1.Python下多线程的限制以及多进程中传递参数的方式 Python多线程有个全局解释器锁，这个锁的意思是任一时间只能有一个线程运用解释器。并发不是并行。 多进程间同享数据，能够运用multiprocession.Value和multiprocessing.Array 认真学习下multiprocessing模块 2.Python是怎样进行内存管理的 内存池的概念 3.什么是lambda函数？他有什么好处？ lambda函数是一个能接纳任意多个参数并且返回单个表达式值的函数。 lambda函数不能包括指令，他们所包括的表达式不能超过一个。 不要试图想lambda函数中塞入太多东西，如果需要更复杂的东西，就定义一个一般函数。 4.怎么用Python输出一个Fibonacci数列？ 基础。 5.介绍下Python中webbrowser的用法？ 熟悉webbrowser模块。 6.解释下Python的and-or语法 这里需要大致知道and和or用于列表和数字之间的区别。 7.如何倒序迭代一个数组 # 通用方法 for i in range(len(l)-1, -1,-1): print(l[i]) # 内置函数reversed for i in reversed(l): print(i) 8.Python是怎样进行类型变换的 9.Python里面如何实现tuple和list的转换

协程 协程，又称微线程，纤程。英文名Coroutine。 协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。 子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。 所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。 子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。 协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。 线程和进程的操作是由程序触发系统接口，最后的执行者是系统；协程的操作则是程序员。 协程可以被认为是一种用户空间线程，与传统的抢占式线程相比，有2个主要的优点： 与线程不同，协程是自己主动让出CPU，并交付他期望的下一个协程运行，而不是在任何时候都有可能被系统调度打断。因此协程的使用更加清晰易懂，并且多数情况下不需要锁机制。 与线程相比，协程的切换由程序控制，发生在用户空间而非内核空间，因此切换的代价非常的小。 某种意义上，协程与线程的关系类似与线程与进程的关系，多个协程会在同一个线程的上下文之中运行。 协程存在的意义：对于多线程应用，CPU通过切片的方式来切换线程间的执行，线程切换时需要耗时（保存状态，下次继续）。协程，则只使用一个线程

我们在上一章学习了Python并发编程的一种实现方法——多线程。今天，我们趁热打铁，看看Python并发编程的另一种实现方式——Asyncio。和前面协程的那章不太一样，这节课我们更加注重原理的理解。 通过上节课的学习，我们知道在进行I/O操作的时候，使用多线程与普通的单线程比较，效率有了很大的提高，既然这样，为什么还要Asyncio呢？ 虽然多线程有诸多优点并且应用广泛，但是也存在一定的局限性： ※多线程运行过程很容易被打断，因此有可能出现race condition的情况 ※线程的切换存在一定的消耗，线程数量不能无限增加，因此，如果I/O操作非常密集，多线程很有可能满足不了高效率、高质量的需求。 针对这些问题，Asyncio应运而生。 什么是Asyncio？ Sync VS Async 我们首先来区分一下Sync(同步)和Async(异步)的概念。 ※所谓Sync，是指操作一个接一个的执行，下一个操作必须等上一个操作完成后才能执行。 ※而Async是指不同操作之间可以相互交替执行，如果某个操作被block，程序并不会等待，而是会找出可执行的操作继续执行。 举个简单的例子，我们要做一个报表并用邮件发送给老板，看看两种方式有什么不同： ※按照Sync的方式，我们相软件里输入各项数据，然后等5分钟生成了报表明细以后，再写邮件发送给老板 ※而按照Async的方式，在输完数据以后