python多线程并发

目录 Python多进程 Multiprocessing使用简介-1 Process 多进程的几种方法 Lock Pool Queue Python—队列、生产者消费者模型 @ Python多进程 • 用multiprocessing替代Thread • multiprocessing库的出现很大程度上是为了弥补thread库因为GIL低效的缺陷。它完整的复制了一套thread所提供的接口方便迁移。唯一的不同就是它使用了多进程而不是多线程。每个进程有自己的独立的GIL，完全并行，无GIL的限制(进程中包括线程)，可充分利用多cpu多核的环境,因此也不会出现进程之间的GIL争抢。 • python多进程并发，模块名称：multiprocessing • python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。 • 借助这个包，可以轻松完成从单进程到并发执行的转换。 • 导入方式： import multiprocessing Multiprocessing使用简介-1 • multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以利用multiprocessing.Process对象来创建一个进程。该Process对象与Thread对象的用法相同，也有start()

源于： 执行类代码 – MainOne.py – 函数main_faker    为保证多线程数据安全，python语言的设计中，有个全局解释锁 GIL(global interpretor lock) ，每个线程在开始运行时必须获得锁，遇到I/O或sleep挂起时释放锁，从而保证同一时刻只有一个线程在运行，多个线程在不同的时间片上执行，达到多任务的目的，使python具有 并发 能力，使得python可以充分使用CPU的单个核心。多线程并发在python网络爬虫中使用普遍，可以一次性开启大量下载任务，而大部分任务都在等待I/O的状态，比单线程速度快很多倍，另外，使用协程也能达到到多线程的的效果。    我们希望提高效率，充分利用多核CPU的优势，同时执行多个任务，做到多任务 并行 ，应该怎样做呢？既然绕不开GIL，解决方案有： 1. 使用多进程，开启多个python实例，使用进程池 2.用C/C++写出多线程代码，通过cython调用；或者将C/C++编译成dll文件(linux下为so文件)，通过ctypes模块直接调用其中的代码；用python的C接口写拓展，或者用Boost.Python等。 3.换解释器，不用C语言版的Pyhton，而是使用jpython(java)，pypy(python)，ironpython(C#)等 python多线程demo import

############### 线程和GIL，全局解释器锁 ############## """ 线程 为什么会有进程？ 主要是能够同时处理多个任务，多个任务还要进行切换，时间片轮转 为什么会有线程？ 进程并不是执行任务的最小单元，每一个进程里面有都一个线程，我们叫做主线程， 早期没有线程，一个进程只能干一个任务，如果有多个任务，只能多起进程，进程太多不行的， 进程内部的内存是共享的，所以需要线程，否则还要涉及到进程间的通信，这比较浪费资源 所以线程的出现解决了两个问题： 1，进程内部的通信 2，一个进程可以处理多个任务， 线程的开销比进程少，可以认为是一个轻型的进程， 进程可以任务是车间，线程可以认为是每一个工人， 进程是资源分配的最小单位，线程是cpu调度的最小单位， ########################### 进程和线程的区别： 1，进程之间的内存是独立的，但是一个进程之内的线程是可以共享的， 2，进程之间切换是慢于线程之间的切换的， """ # 第一个例子 from threading import Thread import time,os # 多线程并发 # def func(n): # 这是子线程完成的 # time.sleep(1) # 虽然是打印了10次，但是只等待了1秒，所以10线程之间是并发的， # print(n) # # for i in

# 有多少个任务就开多少个进程或者线程# 什么是池 # 要在程序开始的时候,还没提交任务先创建几个线程或者进程 # 放在一个池子里,这就是池# 为什么要用池? # 如果先开好进程/线程,那么有任务之后就可以直接使用这个池中的数据了 # 并且开好的线程或者进程会一直存在在池中,可以被多个任务反复利用 # 这样极大的减少了开启\关闭\调度线程/进程的时间开销 # 池中的线程/进程个数控制了操作系统需要调度的任务个数,控制池中的单位 # 有利于提高操作系统的效率,减轻操作系统的负担# 发展过程# threading模块 没有提供池# multiprocessing模块 仿照threading写的 Pool# concurrent.futures模块 线程池,进程池都能够用相似的方式开启\使用# 线程池# import time# import random# from threading import current_thread# from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor# def func(a,b):# print(current_thread().ident,'start',a,b)# time.sleep(random.randint(1,4))# print(current

一 、multiprocessing模块介绍 python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。 multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数），该模块与多线程模块threading的编程接口类似。 multiprocessing模块的功能众多：支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。 需要再次强调的一点是：与线程不同，进程没有任何共享状态，进程修改的数据，改动仅限于该进程内。 二、 Process类的介绍 创建进程的类： Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务（尚未启动） 强调： 1. 需要使用关键字的方式来指定参数 2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号 参数介绍： group参数未使用，值始终为None target表示调用对象，即子进程要执行的任务 args表示调用对象的位置参数元组，args=(1,2,'egon',)

fork介绍 Unix/Linux操作系统提供了一个 fork() 系统调用，它非常特殊。普通的函数调用，调用一次，返回一次， 但是 fork() 调用一次，返回两次，因为操作系统 自动把当前进程（称为父进程）复制了一份（ 称为子进程） ，然后，分别在父进程和子进程内返回。 子进程永远返回 0 ，而父进程返回子进程的ID 。这样做的理由是，一个父进程可以fork出很多子进程，所以， 父进程要记下每个子进程的ID，而子进程只需要调用 getppid() 就可以拿到父进程的ID。 Python的 os 模块封装了常见的系统调用 import os if __name__ == '__main__': print('进程 (%s) start...' % os.getpid()) pid = os.fork() # time.sleep(10) if pid == 0: # 子进程fork()返回0 print("子进程{}，父进程{}".format(os.getpid(), os.getppid())) else: # 父进程fork返回子进程的id print("父进程{},子进程{}".format(os.getpid(), pid)) --》》结果 进程 (3130) start... 父进程3130,子进程3131 子进程3131，父进程3130

　　之前我们已经了解了很多进程相关的理论知识，了解进程是什么应该不再困难了，刚刚我们已经了解了，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实现创建进程这个功能，所以我们就需要借助python中强大的模块 multiprocess模块介绍 仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。 python中的多线程无法利用CPU资源，在python中大部分情况使用多进程。python中提供了非常好的多进程包 multiprocessing。 multiprocessing 模块用来开启子进程，并在子进程中执行功能（函数），该模块与多线程模块threading的编程接口类似。 multiprocessing 的功能众多：支持子进程、通信和共享数据、执行不同形式的同步，提供了Process

面试很容易问到，千万别混淆： 多进程适合在CPU 密集型操作(cpu 操作指令比较多，如科学计算，位数多的浮点运算) 多线程适合在IO 密集型操作(读写数据操作较多的，比如爬虫) 线程是并发，进程是并行；进程之间相互独立，是系统分配资源的最小单位，同一个进程中的所有线程共享资源。 进程：一个运行的程序或代码就是一个进程，一个没有运行的代码叫程序。进程是系统进行资源分配的最小单位，进程拥有自己的内存空间，所以进程间数据不共享，开销大。 线程：调度执行的最小单位，也叫执行路径，不能独立存在，依赖进程的存在而存在，一个进程至少有一个线程，叫主线程，多个线程共享内存（数据共享和全局变量），因此提升程序的运行效率。 协程：用户态的轻量级线程，调度有用户控制，拥有自己的寄存器上下文和栈，切换基本没有内核切换的开销，切换灵活。 来源： https://www.cnblogs.com/kaiping23/p/9618598.html

在进入并发编程的世界之前，先看一个对比的例子： 举例 串行执行 import time def count ( task_name ) : print ( task_name , time . strftime ( "%X" ) , "One" ) time . sleep ( 1 ) # 模拟一个需要堵塞一秒的任务 print ( task_name , time . strftime ( "%X" ) , "Two" ) def main ( ) : count ( 'Task-A' ) count ( 'Task-B' ) count ( 'Task-C' ) if __name__ == "__main__" : s = time . time ( ) main ( ) elapsed = time . time ( ) - s print ( f "Total Run Time {elapsed:.2f} seconds." ) 运行结果： Task-A 12:00:06 One Task-A 12:00:07 Two Task-B 12:00:07 One Task-B 12:00:08 Two Task-C 12:00:08 One Task-C 12:00:09 Two Total Run Time 3.04 seconds. 串行执行三次函数

Python 简介 Python是近年来最火的一个热点，没有之一。从性质上来讲它和我们熟知的C、java、php等没有什么本质的区别，也是一种开发语言，而且已经进阶到主流的二十多种开发语言的top 5（数据源自最新的TIOBE排行榜）。 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言，具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 一.优缺点 优点 1.“优雅”、“明确”、“简单”- 所以Python程序看上去总是简单易懂，初学者学Python，不但入门容易，而且将来深入下去，可以编写那些非常非常复杂的程序。 2. 开发效率高- Python有非常强大的第三方库，基本上你想通过计算机实现任何功能，Python官方库里都有相应的模块进行支持，直接下载调用后，在基础库的基础上再进行开发，大大降低开发周期，避免重复造轮子。 3. 高级语言- 当你用Python语言编写程序的时候，你无需考虑诸如如何管理你的程序使用的内存一类的底层细节 4. 可扩展性 -如果你需要你的一段关键代码运行得更快或者希望某些算法不公开，你可以把你的部分程序用C或C 编写，然后在你的Python程序中使用它们。 5. 可移植性 -由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工 作在不同平台上）