python协程

关于异步的一些基本了解请 参考这篇文章 , 或者 内核态和用户态 由于需要限制不同的程序之间的访问能力，防止他们获取别的程序的内存数据，或者获取外围设备的数据，操作系统划分出两个权限等级：用户态和内核态。 内核态：当一个任务（进程）执行系统调用而陷入内核代码中执行时，称进程处于内核运行态（内核态）。 用户态：当进程在执行用户自己的代码时，则称其处于用户运行态（用户态）。 五种 IO 模型中， IO 复用的技术较为成熟，因此使用也比较广泛。而最为理想的是异步 IO，整个过程没有阻塞，而且有通知。 IO 多路复用模型有三种：select poll epoll，它们的性能是层层递增。 2.1 select sokect 是通过一个 select() 系统调用来监视多个文件描述符，当 select() 返回后，该数组中就绪的文件描述符便会被该内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。 select 的优点是支持跨平台，缺点在于单个进程能够监视的文件描述符的数量存在最大限制。 另外 select() 所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。同时，由于网络响应时间的延迟使得大量 TCP 连接处于非活跃状态，但调用 select() 会对所有 socket 进行一次线性扫描，所以这也浪费了一定的开销。 文件描述符 fd

本文主要归纳3个内容： Python协程 Python多线程 Python多进程 本部分内容参考： 廖雪峰 - Python协程 协程，又称微线程，纤程。英文名Coroutine 协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。（不同于函数调用） 协程相对于多线程的优势： 协程的执行效率高于多线程 协程不需要锁机制：因为只有一个线程，所以不存在同时写变量冲突 多进程+协程，既充分利用多核CPU，又充分发挥协程的高效率，可获得极高的性能 【示例】生产者消费者模型的协程实现： def consumer(): r = '' while True: n = yield r if not n: return print('[CONSUMER] Consuming %s...' % n) r = '200 OK' def produce(c): c.send(None) n = 0 while n < 5: n = n + 1 print('[PRODUCER] Producing %s...' % n) r = c.send(n) print('[PRODUCER] Consumer return: %s' % r) c.close() c = consumer() produce(c) 执行结果： [PRODUCER]

本书是权威的Python语言参考指南，内容涉及核心Python语言和Python库的最重要部分。本书内容简洁扼要、可读性强，书中还包括了一些没有在Python官方文档或其他资料中出现过的一些高级的主题。 这一版在内容上进行了全面更新，介绍了Python 2.6和Python 3新引入的编程语言特性和库模块，同时还分析了Python程序员面临的如下难题：是应继续使用现有的Python代码，还是应制定计划将其移植到Python 3？ Python参考手册 第4版高清中文PDF资料下载： https://pan.baidu.com/s/1Po4MXuBB34S_49Owyf8J_A Ŀ¼ 内容提要 前言 致谢 第一部分 Python语言 第1章 Python简介 1.1 运行Python 1.2 变量和算术表达式 1.3 条件语句 1.4 文件输入和输出 1.5 字符串 1.6 列表 1.7 元组 1.8 集合 1.9 字典 1.10 迭代与循环 1.11 函数 1.12 生成器 1.13 协程 1.14 对象与类 1.15 异常 1.16 模块 1.17 获得帮助 第2章 词法约定和语法 2.1 行结构和缩进 2.2 标识符和保留字 2.3 数字字面量 2.4 字符串字面量 2.5 容器 2.6 运算符、分隔符及特殊符号 2.7 文档字符串 2.8 装饰器 2.9 源代码编码 第3章

Python网络爬虫上手很快，能够尽早入门，可是想精通确实是需求些时间，需求达到爬虫工程师的级别更是需求煞费苦心了，接下来共享的学习道路是针对小白或许学习Python网络爬虫不久的同伴们。 学习网络爬虫能够分三步走，如果你是大神，请直接绕走，蟹蟹~~ 第一步，刚触摸Python网络爬虫的时分肯定是先过一遍Python最基本的常识，比如说：变量、字符串、列表、字典、元组、操控句子、语法等，把根底打牢，这样在做案例的时分不会觉得模糊。此外，你还需求了解一些网络请求的基本原理、网页结构（如HTML、XML）等。 第二步，看视频或许找一本专业的网络爬虫书本（如用Python写网络爬虫），跟着他人的爬虫代码学，跟着他人的代码敲，弄懂每一行代码，留意务必要着手亲身实践，这样才会学的更快，懂的更多。 许多时分我们好大喜功，觉得自己这个会，然后不愿意着手，其实真实比及我们着手的时分便漏洞百出了，最好每天都坚持敲代码，找点感觉。 开发东西主张选Python3，由于到2020年Python2就中止保护了，日后Python3肯定是主流。 IDE能够选择pycharm、sublime或jupyter等，小编引荐运用pychram，由于它非常友爱，有些相似java中的eclipse，非常智能。 浏览器方面，学会运用 Chrome 或许 FireFox 浏览器去检查元素，学会运用进行抓包。 此外，在该阶段

文章出处 https://www.cnblogs.com/wupeiqi/articles/5040827.html Python线程 Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #!/usr/bin/env python # -*- coding:utf-8 -*- import threading import time def show(arg): time.sleep( 1 ) print 'thread' + str (arg) for i in range ( 10 ): t = threading.Thread(target = show, args = (i,)) t.start() print 'main thread stop' 上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。 更多方法： start 线程准备就绪，等待CPU调度 setName 为线程设置名称 getName 获取线程名称 setDaemon 设置为后台线程或前台线程（默认） 如果是后台线程，主线程执行过程中，后台线程也在进行，主线程执行完毕后，后台线程不论成功与否，均停止 如果是前台线程，主线程执行过程中，前台线程也在进行

一、线程的基本概念 引入进程的目的，是为了使多道程序并发执行，以提高资源利用率和系统吞吐量；而引入线程，则是为了减小程序在并发执行时所付出的时空开销，提高操作系统的并发性能。 线程最直接的理解就是“轻量级进程”，它是一个基本的CPU执行单元，也是程序执行流的最小单元，由线程ID、程序计数器、寄存器集合和堆栈组成。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。 引入线程后，进程的内涵发生了改变，进程只作为除CPU以外系统资源的分配单元，线程则作为处理机的分配单元。 二、线程与进程的比较 调度。在传统的操作系统中，拥有资源和独立调度的基本单位都是进程。在引入线程的操作系统中，线程是独立调度的基本单位，进程是资源拥有的基本单位。在同一进程中，线程的切换不会引起进程切换。在不同进程中进行线程切换,如从一个进程内的线程切换到另一个进程中的线程时，会引起进程切换。 拥有资源。不论是传统操作系统还是设有线程的操作系统，进程都是拥有资源的基本单位，而线程不拥有系统资源（也有一点必不可少的资源）

1.提高Python运行速度的方法 （1）使用生成器，节约大量内存； （2）循环代码优化，避免过多重复代码的执行； （3）核心模块使用cpython,pypy等； （4）多进程，多线程，协程； （5）多个if elif判断，可以把最可能发生的放在前面； 2.mysql和redis的区别？ redis：内存型菲关系数据库，数据存放在内存中，速度快； mysql：关系型数据库，数据存放在硬盘中，检索的话，会有一定的I/O操作，速度较慢； 3.列出常见MYSQL数据存储引擎 InnoDB ：支持事务处理，支持外键，支持崩溃修复能力和并发控制。如果需要对事务的完整性要求比较高（比如银行），要求实现并发控制（比如售票），那选择InnoDB有很大的优势。如果需要频繁的更新、删除操作的数据库，也可以选择InnoDB，因为支持事务的提交（commit）和回滚（rollback）。 MyISAM ：插入数据快，空间和内存使用比较低。如果表主要是用于插入新记录和读出记录，那么选择MyISAM能实现处理高效率。如果应用的完整性、并发性要求比 较低，也可以使用。 MEMORY ：所有的数据都在内存中，数据的处理速度快，但是安全性不高。如果需要很快的读写速度，对数据的安全性要求较低，可以选择MEMOEY。它对表的大小有要求，不能建立太大的表。所以，这类数据库只使用在相对较小的数据库表。 4

python协程详解 一、什么是协程 协程又称为微线程，协程是一种用户态的轻量级线程 协程拥有自己的寄存器和栈。协程调度切换的时候，将寄存器上下文和栈都保存到其他地方，在切换回来的时候，恢复到先前保存的寄存器上下文和栈，因此：协程能保留上一次调用状态，每次过程重入时，就相当于进入上一次调用的状态。 协程的好处： 1.无需线程上下文切换的开销（还是单线程） 2.无需原子操作（一个线程改一个变量，改一个变量的过程就可以称为原子操作）的锁定和同步的开销 3.方便切换控制流，简化编程模型 4.高并发+高扩展+低成本：一个cpu支持上万的协程都没有问题，适合用于高并发处理 缺点： 1.无法利用多核的资源，协程本身是个单线程，它不能同时将单个cpu的多核用上，协程需要和进程配合才能运用到多cpu上（协程是跑在线程上的） 2.进行阻塞操作时会阻塞掉整个程序：如io 二、了解协程的过程 1、yield工作原理 从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。 yield在协程中的用法： 在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以不产出--如果yield关键字后面没有表达式，那么生成器产出None。 在协程中yield也可能从调用方接受数据，调用方是通过send(datum)的方式把数据提供给协程使用，而不是next(...

进程与线程的历史 我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心，它承担计算机的所有任务。 操作系统是运行在硬件之上的软件，是计算机的管理者，它负责资源的管理和分配、任务的调度。 程序是运行在系统上的具有某种功能的软件，比如说浏览器，音乐播放器等。 每次执行程序的时候，都会完成一定的功能，比如说浏览器帮我们打开网页，为了保证其独立性，就需要一个专门的管理和控制执行程序的数据结构——进程控制块。 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。 在早期的操作系统里，计算机只有一个核心，进程执行程序的最小单位，任务调度采用时间片轮转的抢占式方式进行进程调度。每个进程都有各自的一块独立的内存，保证进程彼此间的内存地址空间的隔离。 随着计算机技术的发展，进程出现了很多弊端，一是进程的创建、撤销和切换的开销比较大，二是由于对称多处理机（对称多处理机（SymmetricalMulti-Processing）又叫SMP，是指在一个计算机上汇集了一组处理器(多CPU)，各CPU之间共享内存子系统以及总线结构

Python进程和线程 本文内容是基于如下参考资料。是对如下参考资料的梳理并加上自己的理解。 https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431929340191970154d52b9d484b88a7b343708fcc60000 http://www.runoob.com/python3/python3-multithreading.html 1基础 一个任务就是一个进程（Process） 进程内的这些“子任务”称为线程（Thread）。 由于任务数量远远多于CPU的核心数量，所以，操作系统也会自动把很多任务（多进程）轮流调度到每个核心上执行。让每个线程都短暂地交替运行，看起来就像同时执行一样。 多个线程由操作系统在多个线程之间快速切换，让每个线程都短暂地交替运行，看起来就像同时执行一样。 自己编程中多任务的实现有3种方式(多任务既可以多线程实现也可以多进程实现)： 多进程模式； 多线程模式； 多进程+多线程模式。 同时执行多个任务通常各个任务之间是有关联的（无论是进程还是线程），需要相互通信和协调，涉及到同步、数据共享的问题。 常见多任务协调要求： 任务1必须暂停等待任务2完成后才能继续执行 任务3和任务4又不能同时执行 2