python多线程

问题： I am trying to understand threading in Python. 我试图了解Python中的线程。 I've looked at the documentation and examples, but quite frankly, many examples are overly sophisticated and I'm having trouble understanding them. 我看过文档和示例，但是坦率地说，许多示例过于复杂，我难以理解它们。 How do you clearly show tasks being divided for multi-threading? 您如何清楚地显示为多线程而划分的任务？ 解决方案： 参考一： https://stackoom.com/question/BwXl/如何在Python中使用线程 参考二： https://oldbug.net/q/BwXl/How-to-use-threading-in-Python 来源： oschina 链接： https://my.oschina.net/u/3797416/blog/3223402

很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文 就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。 二、同步 首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中 parse_1 函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入 parse_2 函数。 import requestsdef parse_1(): url = 'https://www.baidu.com' for i in range(300): parse_2(url)def parse_2(url): response = requests.get(url) print(response.status_code)if __name__ == '__main__': parse_1() 性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 示例代码就是典型的串行逻辑， parse_1 将url和循环数传递给 parse_2 ， parse_2 请求并返回状态码后 parse_1 继续迭代一次，重复之前步骤 三、多线程 因为CPU在执行程序时每个时间刻度上只会存在一个线程

前言 文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者：刘早起早起 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。 同步 首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中parse_1函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入parse_2函数。 性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 示例代码就是典型的串行逻辑，parse_1将url和循环数传递给parse_2，parse_2请求并返回状态码后parse_1继续迭代一次，重复之前步骤 多线程 因为CPU在执行程序时每个时间刻度上只会存在一个线程，因此多线程实际上提高了进程的使用率从而提高了CPU的使用率 实现多线程的库有很多，这里用concurrent.futures中的ThreadPoolExecutor来演示

1、paramiko模块 1.1、此函数是ssh模块： import paramikodef ssh2(ip='127.0.0.1',port=22,username='',passwd='',cmd=''): """ ssh连接服务器 :return: """ ssh = paramiko.SSHClient() #创建SSH对象 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) #允许连接不在know_hosts文件中的主机 ssh.connect(ip,int(port),username,passwd) #连接服务器 stdin,stdout,stderr = ssh.exec_command(cmd) #执行命令，标准输入，输出，错误三个变量中 result = stdout.read() #获取命令的结果,输出是字节的类型 print(result.decode("utf-8")) #将字节的类型转换为utf-8 ssh.close()ssh2("192.168.1.1",22,"root","123456","df")1.2、sftpclient: import paramikotransport = paramiko.Transport(('192.168.1.1',22))transport

1、进程与线程 我们可以在计算机上运行各种计算机软件程序。每一个运行的程序可能包括多个独立运行的线程（Thread）。 线程（Thread）是一份独立运行的程序，有自己专用的运行栈。线程有可能和其他线程共享一些资源，比如，内存，文件，数据库等。 当多个线程同时读写同一份共享资源的时候，可能会引起冲突。这时候，我们需要引入线程“同步”机制，即各位线程之间要有个先来后到，不能一窝蜂挤上去抢作一团。 同步这个词是从英文synchronize（使同时发生）翻译过来的。我也不明白为什么要用这个很容易引起误解的词。既然大家都这么用，咱们也就只好这么将就。 线程同步的真实意思和字面意思恰好相反。线程同步的真实意思，其实是“排队”：几个线程之间要排队，一个一个对共享资源进行操作，而不是同时进行操作 。 因此，关于线程同步，需要牢牢记住的第一点是： 线程同步就是线程排队 。同步就是排队。线程同步的目的就是避免线程“同步”执行。这可真是个无聊的绕口令。 关于线程同步，需要牢牢记住的第二点是 “共享” 这两个字。 只有共享资源的读写访问才需要同步 。如果不是共享资源，那么就根本没有同步的必要。 关于线程同步，需要牢牢记住的第三点是，只有“ 变量 ”才需要同步访问。如果共享的资源是固定不变的，那么就相当于“常量”，线程同时读取常量也不需要同步。至少一个线程修改共享资源，这样的情况下，线程之间就需要同步。

一、多任务简介 1、为什么要使用多任务爬虫？ 在大量的url需要请求时，单线程/单进程去爬取，速度太慢，此时cpu不工作，浪费cpu资源。 爬取与写入文件分离，可以规避io操作，增加爬取速度，充分利用cpu。 2、多任务分类 进程：进程是操作资源分配的最小单位，一个运行的程序，至少包括一个进程，进程之间数据不能共享。（利用多核） 线程：线程是cpu调度的最小单位，一个进程中至少含有一个线程，线程中数据是共享的，如果多个线程操作同一个对象时，需要考虑数据安全问题。（爬虫中最常用） 协程：协程位于线程内部，如果一个线程中运行的代码，遇到IO操作时，切换到线程其他代码执行（最大程度的规避IO操作） 2、如何提高程序的运行速度 1、提高CPU的利用率 假如我们的程序有只有一个线程，CPU就只处理这一个线程。如果在程序中遇到IO操作。此时CPU就不工作了。休息的这段时间，就浪费了CPU的资源。 若我们的程序是多线程的，CPU会在这多个任务之间切换，如果其中一个线程阻塞了，CPU不会休息，会处理其他线程。 2、增加CPU数量 一个CPU同一时间只能护理一个任务，若我们增加CPU数量，那么多个CPU处理多个任务，也会提升程序的运行速度，例如使用多进程。 二、python中的threading模块（开启多线程） cpython解释器下的 python中没有真正的多线程

一. 目录 　　1.进程的概念和两种创建方式 　　2.多进程爬虫 　　3.守护进程 　　4.进程队列 　　5.进程队列简单应用（实现数据共享） 　　6.线程的两种创建方式 　　7.线程和进程的效率对比 　　8.线程共享统一进程的数据 　　9.死锁现象 　　10.线程队列的三种应用 　　11.多线程执行计算密集型任务 　　12. 线程池和进程池 　　13. 回调函数 　　14.守护线程 　　15. 协程 　　16.GlL 全局解释器锁 二. 内容 一.进程的概念和两种创建方式 专业词描述： 操作系统的两大作用 1.把硬件丑陋复杂的接口隐藏起来，为应用程序提供良好的接口 2.管理，调度进程，并且把进程之间对硬件的竞争变的有序化多道技术： 1.产生背景：为了实现单cpu下的并发效果 2.分为两个部分 1.空间上的复用（必须实现硬件层面的隔离） 2.时间上的复用（复用的是cpu的时间片） 什么时候切换？ 1.正在执行的任务遇到阻塞 2.正在执行的任务运行时间过程（系统控制的）进程：正在运行的一个过程，一个任务，由操作系统负责调度，由cpu负责 执行程序：程序员写的代码并发：伪并行，单核+多道并行：只有多核才能实现真正的并行同步：一个进程在执行某个任务时，另外一个进程必须等待其执行完毕才能往下走异步：一个进程在执行某个任务时，另外一个进程无须等待其执行完毕，继续往下走进程的创建： 1

简单的理解 1、线程：最小的执行单元；进程：最小的资源单元 2、一个程序至少有一个进程，一个进程至少有一个线程（线程可以理解为线程的容器） 3、进程在执行过程中拥有独立的内存单元，而多个线程共享内存 4、每一个独立的线程都有 程序的入口，顺序执行的序列和程序出口 ，但是线程不能独立执行，必须由应用程序提供多个线程执行控制 5、进程是系统进行资源分配和调度的一个独立单元 多线程的代码开启 import threading import time def sing(): print("begin to sing %s" % time.ctime()) time.sleep(3) print("stop to sing %s" % time.ctime()) def jump(): print("begin to jump %s" % time.ctime()) time.sleep(5) print("stop to jump %s" % time.ctime()) def rap(): print("begin to rap %s" % time.ctime()) time.sleep(7) print("stop to rap %s" % time.ctime()) def play_basketball(): print("begin to play_basketball %s"

一：操作系统概念 操作系统定义：操作系统是一个用来协调、管理和控制计算机硬件和软件资源的系统程序，它位于硬件和应用程序之间。 操作系统的内核的定义：操作系统的内核是一个管理和控制程序，负责管理计算机的所有物理资源，其中包括：文件系统、内存管理、设备管理和进程管理。 二：操作系统历史 1.真空管与穿孔卡片（无操作系统） 2.晶体管和批处理系统 3.SPOOLING技术 4.个人计算机 三：进程和线程 1.进程： 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。 线程：线程的出现是为了降低上下文切换的消耗，提高系统的并发性，并突破一个进程只能干一样事的缺陷， 使到进程内并发成为可能。 线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序 计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发 性能。线程没有自己的系统资源。 1、 一个程序至少有一个进程,一个进程至少有一个线程。 2 、进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。 3、线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和 程序的出口。但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。 4

1 __author__ = "JentZhang" 2 3 import time, threading, queue 4 5 q = queue.Queue(maxsize=10) # 声明队列 6 7 8 def Producer(name): 9 '''生产者''' 10 count = 1 11 while True: 12 q.put(count) # 往队列中添加数据 13 print("[%s] 生产了第%s包子\n" % (name, count)) 14 count += 1 15 time.sleep(3) 16 17 18 def Consumer(name): 19 '''消费者''' 20 while True: 21 i = q.get() # 从队列中取数据 22 print("====[%s] 吃了第%s个包子\n" % (name, i)) 23 time.sleep(1) 24 25 26 '''设置多线程''' 27 p = threading.Thread(target=Producer, args=("Jent",)) 28 c1 = threading.Thread(target=Consumer, args=("张三",)) 29 c2 = threading.Thread(target=Consumer, args=("李四",))