python多线程并发

多线程处理Socket并发 server #!/usr/bin/env python import socket import threading server = socket.socket() server.bind(('', 9999)) server.listen(5) def readThread(conn, addr): """ 创建一个新的线程，负责和一个客户端通讯 :param conn: :param addr: :return: """ while True: data = conn.recv(1024) if data: print('{}:{}'.format(addr, data)) else: print("客户端{}已关闭".format(addr)) break conn.close() while True: print('------主线程，等待客户端连接------') conn, addr = server.accept() print('创建一个新的线程，和客户端{}通讯'.format(addr)) # 创建一个子线程，负责消息收发 client = threading.Thread(target=readThread, args=(conn, addr)) # 启动线程 client.start() client #!/usr/bin

一、线程的基本概念 引入进程的目的，是为了使多道程序并发执行，以提高资源利用率和系统吞吐量；而引入线程，则是为了减小程序在并发执行时所付出的时空开销，提高操作系统的并发性能。 线程最直接的理解就是“轻量级进程”，它是一个基本的CPU执行单元，也是程序执行流的最小单元，由线程ID、程序计数器、寄存器集合和堆栈组成。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。 引入线程后，进程的内涵发生了改变，进程只作为除CPU以外系统资源的分配单元，线程则作为处理机的分配单元。 二、线程与进程的比较 调度。在传统的操作系统中，拥有资源和独立调度的基本单位都是进程。在引入线程的操作系统中，线程是独立调度的基本单位，进程是资源拥有的基本单位。在同一进程中，线程的切换不会引起进程切换。在不同进程中进行线程切换,如从一个进程内的线程切换到另一个进程中的线程时，会引起进程切换。 拥有资源。不论是传统操作系统还是设有线程的操作系统，进程都是拥有资源的基本单位，而线程不拥有系统资源（也有一点必不可少的资源）

1.提高Python运行速度的方法 （1）使用生成器，节约大量内存； （2）循环代码优化，避免过多重复代码的执行； （3）核心模块使用cpython,pypy等； （4）多进程，多线程，协程； （5）多个if elif判断，可以把最可能发生的放在前面； 2.mysql和redis的区别？ redis：内存型菲关系数据库，数据存放在内存中，速度快； mysql：关系型数据库，数据存放在硬盘中，检索的话，会有一定的I/O操作，速度较慢； 3.列出常见MYSQL数据存储引擎 InnoDB ：支持事务处理，支持外键，支持崩溃修复能力和并发控制。如果需要对事务的完整性要求比较高（比如银行），要求实现并发控制（比如售票），那选择InnoDB有很大的优势。如果需要频繁的更新、删除操作的数据库，也可以选择InnoDB，因为支持事务的提交（commit）和回滚（rollback）。 MyISAM ：插入数据快，空间和内存使用比较低。如果表主要是用于插入新记录和读出记录，那么选择MyISAM能实现处理高效率。如果应用的完整性、并发性要求比 较低，也可以使用。 MEMORY ：所有的数据都在内存中，数据的处理速度快，但是安全性不高。如果需要很快的读写速度，对数据的安全性要求较低，可以选择MEMOEY。它对表的大小有要求，不能建立太大的表。所以，这类数据库只使用在相对较小的数据库表。 4

目录 并发编程之锁问题 　Python GIL锁（Global Interpreter Lock） GIL锁官方文档介绍 　GIL锁介绍 GIL锁与Lock GIL与多线程 多线程与多进程性能比较（I/O密集与计算密集） 死锁现象与递归锁（解决死锁） 信号量 EVENT事件 线程queue 的三类 并发编程之锁问题 　Python GIL锁（Global Interpreter Lock） GIL锁官方文档介绍 ''' 定义： In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.) 翻译：在cpython中，全局解释器锁（gil）是一个互斥锁，它可以防止同时执行python字节码的本机线程

进程与线程的历史 我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心，它承担计算机的所有任务。 操作系统是运行在硬件之上的软件，是计算机的管理者，它负责资源的管理和分配、任务的调度。 程序是运行在系统上的具有某种功能的软件，比如说浏览器，音乐播放器等。 每次执行程序的时候，都会完成一定的功能，比如说浏览器帮我们打开网页，为了保证其独立性，就需要一个专门的管理和控制执行程序的数据结构——进程控制块。 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。 在早期的操作系统里，计算机只有一个核心，进程执行程序的最小单位，任务调度采用时间片轮转的抢占式方式进行进程调度。每个进程都有各自的一块独立的内存，保证进程彼此间的内存地址空间的隔离。 随着计算机技术的发展，进程出现了很多弊端，一是进程的创建、撤销和切换的开销比较大，二是由于对称多处理机（对称多处理机（SymmetricalMulti-Processing）又叫SMP，是指在一个计算机上汇集了一组处理器(多CPU)，各CPU之间共享内存子系统以及总线结构

Python进程和线程 本文内容是基于如下参考资料。是对如下参考资料的梳理并加上自己的理解。 https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431929340191970154d52b9d484b88a7b343708fcc60000 http://www.runoob.com/python3/python3-multithreading.html 1基础 一个任务就是一个进程（Process） 进程内的这些“子任务”称为线程（Thread）。 由于任务数量远远多于CPU的核心数量，所以，操作系统也会自动把很多任务（多进程）轮流调度到每个核心上执行。让每个线程都短暂地交替运行，看起来就像同时执行一样。 多个线程由操作系统在多个线程之间快速切换，让每个线程都短暂地交替运行，看起来就像同时执行一样。 自己编程中多任务的实现有3种方式(多任务既可以多线程实现也可以多进程实现)： 多进程模式； 多线程模式； 多进程+多线程模式。 同时执行多个任务通常各个任务之间是有关联的（无论是进程还是线程），需要相互通信和协调，涉及到同步、数据共享的问题。 常见多任务协调要求： 任务1必须暂停等待任务2完成后才能继续执行 任务3和任务4又不能同时执行 2

操作系统发展史 手工操作（无操作系统） 1946年第一台计算机诞生--20世纪50年代中期，还未出现操作系统，计算机工作采用手工操作方式。 手工操作 程序员将对应于程序和数据的已穿孔的纸带（或卡片）装入输入机，然后启动输入机把程序和数据输入计算机内存，接着通过控制台开关启动程序针对数据运行；计算完毕，打印机输出计算结果；用户取走结果并卸下纸带（或卡片）后，才让下一个用户上机。 手工操作方式两个特点： （1）用户独占全机。不会出现因资源已被其他用户占用而等待的现象，但资源的利用率低。 （2）CPU 等待手工操作。CPU的利用不充分。  20世纪50年代后期，出现人机矛盾：手工操作的慢速度和计算机的高速度之间形成了尖锐矛盾，手工操作方式已严重损害了系统资源的利用率（使资源利用率降为百分之几，甚至更低），不能容忍。唯一的解决办法：只有摆脱人的手工操作，实现作业的自动过渡。这样就出现了成批处理。 批处理系统 批处理系统：加载在计算机上的一个系统软件，在它的控制下，计算机能够自动地、成批地处理一个或多个用户的作业（这作业包括程序、数据和命令）。 联机批处理系统 首先出现的是联机批处理系统，即作业的输入/输出由CPU来处理。 主机与输入机之间增加一个存储设备——磁带，在运行于主机上的监督程序的自动控制下，计算机可自动完成：成批地把输入机上的用户作业读入磁带

在上一章中我们遗留了下面几个问题： 1.异步通信，也是在不断的轮询排队处理中，如果采用服务器端多线程处理呢？ 2.多线程与异步操作的异同 3.如果A - 服务器 －B该如何实现？（包含以下内容： a.半双工通信 b.全双工通信 c.多用户全双工通信 d.使用多线程实现多用户全双工通信 e.多用户、多房间、全双工通信 ） 针对上面的几个问题：我觉得是很有必要好好探索一下的。那么首先从多线程与异步操作的异同： 一.多线程与异步操作的异同 1.进程： 每个进程都拥有自己的地址空间、内存、数据栈以及其它用于跟踪执行的辅助数据。需要采用ipc的方式共享信息。 2.线程： 轻量级进程，在同一个进程下执行的，共享相同的上下文。可以将它们认为是在一个主进程或者“主线程”中并行运行的一些迷你进程，需要操作系统投入CPU资源来运行和调度。线程包含：开始、执行顺序和结束三部分。有一个指令指针，用于纪录当前运行的上下文，当其他线程运行时，它可以被抢占（中断）和临时挂起（睡眠），这种做法叫做让步。最重要的是一个进程中的各个线程与主线程共享同一片数据空间，因此相比于独立的进程而言，线程间的信息共享和通信更加容易。这种共享风险就是，如果多个线程访问同一片数据，由于访问的顺序不同，结果可能不一致。这种情况通常称为竞态条件（race condition）。有些线程可能还有阻塞状态

深入理解Python中的GIL（全局解释器锁) Python是门古老的语言，要想了解这门语言的多线程和多进程以及协程，以及明白什么时候应该用多线程，什么时候应该使用多进程或协程，我们不得不谈到的一个东西是Python中的GIL（全局解释器锁）。这篇我们就来看看这个GIL究竟是怎么回事。 1. GIL是什么？ 首先来看看GIL究竟是什么。我们需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为CPython是大部分环境下默认的Python执行环境。所以在很多人的概念里CPython就是Python，也就想当然的把GIL归结为Python语言的缺陷。所以这里要先明确一点：GIL并不是Python的特性，Python完全可以不依赖于GIL。 那么CPython实现中的GIL又是什么呢？GIL全称Global Interpreter Lock为了避免误导，我们还是来看一下官方给出的解释： In CPython, the global

Python 最常见的 170 道面试题全解析：2019 版 引言 最近在刷面试题,所以需要看大量的 Python 相关的面试题，从大量的题目中总结了很多的知识，同时也对一些题目进行拓展了，但是在看了网上的大部分面试题不是很满意，一个是有些部分还是 Python2 的代码，另一个就是回答的很简单，有些关键的题目，也没有点出为什么，最重要的是还有一些复制粘贴根本就跑不通，这种相信大家深有体会吧，这样就导致我们可能需要去找其他人发的类似的教程。难受啊，所以我决定针对市面上大多的 Python 题目做一个分析，同时也希望大家尽可能的做到举一反三，而不是局限于题目本身。大概就这样吧，有你看过的题目也有你没看到过的。 通过本场 Chat，你将获得如下知识点： 掌握 Python 的基础语法 语法常见的 Python 应用场景 掌握 Python 闭包的使用以及装饰器的使用 生成器和迭代器的使用 常见的设计模式的使用 深浅拷贝的区别 线程、进程、协程的使用 了解 Python 中的元编程和反射 常考的数据结构和算法 爬虫相关知识，网络编程基本知识等 所有题目 语言特性 1.谈谈对 Python 和其他语言的区别 2.简述解释型和编译型编程语言 3.Python 的解释器种类以及相关特点？ 4.说说你知道的Python3 和 Python2 之间的区别？ 5.Python3 和 Python2