python多线程并发

声明：本人的一切著作，禁止用于以营销为目的的任何转载！ 前言 很久以前就听说 Python 的 async/await 很厉害，但是直到现在都没有用过，一直都在用多线程模型来解决各种问题。最近看到隔壁的 Go 又很火，所以决定花时间研究下 Python 协程相关的内容，终于在翻阅了一裤衩的资料之后有了一些理解。 起：一切从生成器开始 以往在 Python 开发中，如果需要进行并发编程，通常是使用多线程 / 多进程模型实现的。由于 GIL 的存在，多线程对于计算密集型的任务并不十分友好，而对于 IO 密集型任务，可以在等待 IO 的时候进行线程调度，让出 GIL，实现『假并发』。 当然对于 IO 密集型的任务另外一种选择就是协程，协程其实是运行在单个线程中的，避免了多线程模型中的线程上下文切换，减少了很大的开销。为了理解协程、async/await、asyncio，我们要从最古老的生成器开始。 回顾 Python 的历史，生成器这个概念第一次被提出的时候是在PEP 255中被提出的，当时的 Python 版本为 Python2.2。我们都知道range()函数，现在考虑一下我们来编写一个自己的range()函数，最直接最容易想到的方法也许是这样： 当你想创建一个很小的序列的时候，例如创建从 0 到 100 这样的列表，似乎没什么问题。但是如果想创建一个从 0 到 999999999

import queue q = queue . Queue ( 3 ) q . put ( 1 ) q . put ( 2 ) q . put ( 3 ) q . put ( 4 ) print ( q . get ()) print ( q . get ()) print ( q . get ()) print ( q . get ( block = False )) q . get ( timeout = 2 ) # 阻塞2s 还没有值直接报错 结果： #1 #2 #3 ##第二种、后进先出 Lifo 堆栈 q = queue . LifoQueue ( 4 ) q . put ( 1 ) q . put ( 2 ) q . put ( 'alex' ) q . put ( '太白' ) print ( q . get ()) print ( q . get ()) print ( q . get ()) print ( q . get ()) 结果： 太白 alex 2 1 q = queue . PriorityQueue ( 4 ) q . put (( 5 , '元宝' )) q . put ((- 2 , '狗狗' )) q . put (( 0 , '李业' )) print ( q . get ()) print ( q . get ()) print ( q

python语言现在很流行了，除了用在学校，也用在很多行业。python学起来较为简单，语法容易理解，也可用于数据分析。 国内的教材推荐看《疯狂python讲义》，对比国外也有很多好的参考，《python核心编程第3版》值得学习。 《疯狂Python讲义》涵盖了网络编程、数据分析、网络爬虫等大量企业实用的知识。系统讲解了Python的基本语法结构、Python的函数编程、Python的类和对象、模块和包、异常处理等核心语法；介绍Python常用的内置模块和包，包括Python的JSON、正则表达式支持、容器相关类、collections包、Tkinter GUI编程、IO编程、数据库编程、并发编程、网络通信编程等内容；介绍Python开发工程化方面的内容，包括如何为Python程序编写符合格式的文档注释、提取文档注释生成帮助文档，为Python程序编写测试用例，程序打包等内容；引入了pygame、Matplotlib、Pygal、Scrapy这些第三方的包，通过项目介绍了Python游戏开发、大数据展示、网络爬虫等热门技能，尤其是网络爬虫和大数据展示。 《疯狂Python讲义》PDF，633页，带书签目录，文字可以复制。配套习题解答；配套源代码。 提取码: 3eaw 课后习题共包括110道循序渐进的Python练习题（面试题），可通过这些练习题巩固所学、为面试做准备。

线程的理论知识 什么是线程 当开启一个进程的时候：内存中开辟空间，加载资源与数据，调用CPU执行，可能还会使用这个空间的资源。 定义：每个进程都有一个地址空间，而且默认就有一个控制线程。进程只是把资源集中到一起（进程可以认为是一个含有代码的空间），而线程才是CPU的执行单位。 多线程：在一个进程中存在多个控制线程，多个控制线程共享该进程的地址空间。 线程vs进程 开启多进程开销大，开启线程开销非常小 开启多进程的速度慢，开启多线程速度快 进程之间数据不能直接共享（通过队列可以），同一个进程下的线程之间的数据可以共享。 总结：进程：划分空间，加载资源，静态的；线程：执行代码，执行能力，动态的 多线程的应用场景 并发：一个CPU来回切换（线程间的切换） 多进程并发：开启多个进程，每个进程里面的主进程执行任务 多线程并发：开启1个（或多个）进程，每个进程里面多个线程执行任务 当一个程序中包含三个不同的任务时，就可以使用多线程，由于每个线程之间可以直接共享数据。 开启线程的两种方式 与开启多进程相似，只是引用模块为threading。 方式一： from threading import Thread def task(): print('打印子线程') if __name__ == '__main__': t = Thread(target=task) t.start() print(

进程：正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。 进程是资源分配的基本单位 进程有：代码段，数据段，进程控制块（PCB）组成 程序仅仅只是一堆代码而已，而进程指的是程序的运行过程。 举例： 想象一位有一手好厨艺的计算机科学家正在为他的女儿烘制生日蛋糕。 他有做生日蛋糕的食谱， 厨房里有所需的原料:面粉、鸡蛋、韭菜，蒜泥等。 在这个比喻中： 做蛋糕的食谱就是程序 (即用适当形式描述的算法) 计算机科学家就是处理器(cpu) 而做蛋糕的各种原料就是输入数据 。 进程就是厨师阅读食谱、取来各种原料以及烘制蛋糕等一系列动作的总和 。 需要强调的是：同一个程序执行两次，那也是两个进程，比如打开暴风影音，虽然都是同一个软件，但是一个可以播放苍井空，一个可以播放饭岛爱。 无论是并行还是并发，在用户看来都是'同时'运行的，不管是进程还是线程，都只是一个任务而已，真是干活的是cpu，cpu来做这些任务，而一个cpu同一时刻只能执行一个任务 并发：在同一个 时间段 内多个任务同时进行，伪并行，即看起来是同时运行。单个cpu+多道技术就可以实现并发（并行也属于并发） 举例： 你是一个cpu，你同时谈了三个女朋友，每一个都可以是一个恋爱任务，你被这三个任务共享，要玩出并发恋爱的效果，应该是你先跟女友1去看电影，看了一会说：不好，我要拉肚子，然后跑去跟第二个女友吃饭，吃了一会说：那啥

1、什么是线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。python中不同的线程实际上并没有同时运行：它们只是看起来像是同时运行的。由于GIL（Global Interpreter Lock），python一次只能运行一个Python线程。 转载请标明出处: python并发学习之多线程 文章来源: python并发学习之多线程

本文主要归纳3个内容： Python协程 Python多线程 Python多进程 本部分内容参考： 廖雪峰 - Python协程 协程，又称微线程，纤程。英文名Coroutine 协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。（不同于函数调用） 协程相对于多线程的优势： 协程的执行效率高于多线程 协程不需要锁机制：因为只有一个线程，所以不存在同时写变量冲突 多进程+协程，既充分利用多核CPU，又充分发挥协程的高效率，可获得极高的性能 【示例】生产者消费者模型的协程实现： def consumer(): r = '' while True: n = yield r if not n: return print('[CONSUMER] Consuming %s...' % n) r = '200 OK' def produce(c): c.send(None) n = 0 while n < 5: n = n + 1 print('[PRODUCER] Producing %s...' % n) r = c.send(n) print('[PRODUCER] Consumer return: %s' % r) c.close() c = consumer() produce(c) 执行结果： [PRODUCER]

1. 多进程与多线程 （1） 背景： 为何需要多进程或者多线程： 在同一时间里，同一个计算机系统中如果允许两个或者两个以上的进程处于运行状态，这便是多任务。多任务会带来的好处例如用户边听歌、边上网、边打印，而这些任务之间丝毫不会互相干扰。使用多进程技术，可大大提高计算机的运算速率。 （2） 多进程与多线程的区别： 进程 ：程序在计算机上的一次执行活动。进程分为：系统进程和用户进程。 当运行一个程序时，实际就是启动了一个进程。程序是死的（静态的），进程是活的（动态的）。 线程 ：是程序中的一个单一的顺序控制流程。 CPU的基本单元（指运行中程序的调度单位）。 CPU调度的最小单位。 CPU运行程序代码并操作程序的数据所形成的。因此，线程被认为是以CPU为主体的行为。 多线程程序设计的含义就是可以将程序任务分成几个并行的子任务。 Windows系统中，进行CPU分配是以线程为单位的，一个进程可能由多个线程组成，这种情况更加复杂，有如下关系： <=CPU数量，并行运行 >CPU数量，并发运行。 并行运行的效率明显高于并发运行。 2. 多进程编程 进程的概念 第一，进程是一个实体，每一个进程都有它自己的地址空间，一般情况下，包括文本区域、数据区域和堆栈区域。 文本区域：存储处理器执行的代码； . 堆栈区域：存储着活动过程中调用的指令和本地变量。 第二，“执行中的程序”

第1章 Python服务端工程师面试指导-课程导学篇 Python服务端工程师面试指导-课程导学篇 第2章 面试流程介绍 介绍Python 服务端面试的流程、技术栈、技能要求、简历书写和自我介绍、行为面试题目的回答要点。 第3章 Python语言基础考察点 介绍面试常考的 Python 语言基础，包括高级语法、Python2/3差异、函数、异常处理机制、性能剖析和优化、单元测试等内容，攻克Python语言基础考点。 第4章 Python算法与数据结构考察点 算法和数据结构是面试重点，本章介绍了面试中常见的 Python 内置的算法和数据结构，常考的高级排序算法，常考的数据结构包括链表、二叉树、栈、队列、堆、字符串等，每个数据结构均以 leetcode 面试真题讲解。 第5章 编程范式考察点 本章介绍了Python 面向对象编程的常考点，类的创建和使用，常见的设计模式装饰器模式和单例模式，以及Python 函数式编程的面试重点内容。 第6章 操作系统考察点 章介绍了常考的 Linux 命令，线程和进程的区别和 Python 多线程与多进程，操作系统的内存管理和 Python 的垃圾回收机制。 第7章 网络编程考察点 本章介绍了常考的网络协议包括 TCP/UDP/HTTP，socket 网络编程、Python 常见并发网络库。 第8章 数据库考察点 本章介绍了关系型数据库Mysql

1、一行代码实现1--100之和 利用sum()函数求和 >>> sum(range(0,101)) 5050 2、如何在一个函数内部修改全局变量 利用global 修改全局变量 a = 5 def fn(): global a a = 4 fn() print(a) 3 、列出5个python标准库 os：提供了不少与操作系统相关联的函数 sys: 通常用于命令行参数 re: 正则匹配 math: 数学运算 datetime:处理日期时间 4、字典如何删除键和合并两个字典 del和update方法 >>> dic = {"name":"zs", "age":18} >>> del dic["name"] >>> dic {'age': 18} >>> dic2 = {"name":"ls"} >>> dic.update(dic2) >>> dic {'age': 18, 'name': 'ls'} 5、谈下python的GIL GIL 是python的全局解释器锁，同一进程中假如有多个线程运行，一个线程在运行python程序的时候会霸占python解释器（加了一把锁即GIL），使该进程内的其他线程无法运行，等该线程运行完后其他线程才能运行。如果线程运行过程中遇到耗时操作，则解释器锁解开，使其他线程运行。所以在多线程中，线程的运行仍是有先后顺序的，并不是同时进行。