python多线程

一丶IO多路复用 　　IO多路复用指:通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作 　　IO多路复用作用: 　　　　检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据)(可读/可写) 　　　　操作系统检测socket是否发生变化有三种模式: 　　　　　　select:最多1024个socket,循环去检测 　　　　　　poll:不限制监听socket个数,循环去检测(水平触发) 　　　　　　epoll:不限制监听socket个数:回调方式(边缘触发). 　　　　Python模块: 　　　　　　select.select 　　　　　　select.epoll 　　Python中有一个select模块,其中提供了:select丶poll丶epoll三个方法,分别调用系统的select,poll,epoll从而实现IO多路复用 二丶基于IO多路复用+socket实现并发请求(一个线程100个请求) 　　当我们需要向百度发送请求搜索三个关键字,我们改怎么办呢? 　　单线程解决并发: 方式一: key_list = ['alex','db','sb'] for item in key_list: ret = requests.get('https://www.baidu.com/s?wd=%s'

什么是进程？ 　　程序不能单独执行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的过程就叫做进程。进程是操作系统调度的最小单位。 　　程序和进程的区别在于：程序是储存在硬盘上指令的有序集合，是静态的；进程是程序的一次执行过程，属于动态概念。 线程和进程的区别： 进程是资源的集合，进程要在CPU执行，必须要创建线程，至少要有一个线程在运行。 　　1.线程共享创建它的进程的地址空间。进程的内存空间是独立的。 　　2.线程可以直接访问其进程的数据段（不同线程共享同一个进程的数据），进程间不共享。 　　3.线程可以与其他线程进行通信，进程必须使用进程间通信（中间代理）与同级进程进行通信。 　　4.新的线程很容易创建，新的进程需要父进克隆。 　　5.线程可以直接操作和控制同一进程内的其它线程，而进程只能操作子进程。 　　6.对主线程的修改可能会影响到其它线程的行为。对父进程的修改不会影响子进程（不删除父进程的前提下）。 Process 类用来描述一个进程对象。创建子进程的时候，只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。 　　star() 方法启动进程。 　　join() 方法实现进程间的同步，等待所有进程退出。 　　close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。 multiprocessing.Process(group

前言 并行编程： 通过编码方式利用多核或多处理器称为并行编程，多线程概念的一个子集。 并行处理 ：把正在执行的大量的任务分割成小块，分配给多个同时运行的线程。多线程的一种。 并行编程分为如下几个结构 ： 1. 并行的 LINQ 或 PLINQ 2. Parallel 类 3. 任务并行结构 4. 并发集合 5. SpinLock 和 SpinWait 这些是.NET 4.0引入的功能，一般被称为 PFX（Parallel Framework，并行框架） 。 Parallel 类和 任务并行结构 称为 TPL（Task Parallel Library，任务并行库） 。 并行框架（PFX） 1.并行框架基础 当前CPU技术达到瓶颈，而制造商将关注重点转移到提高内核技术上，而标准单线程代码并不会因此而自动提高运行速度。 利用多核提升程序性能通常需要对计算密集型代码进行一些处理： 1.将代码划分成块。 2.通过多线程并行执行这些代码块。 3.结果变为可用后，以线程安全和高性能的方式整合这些结果。 传统多线程结构虽然实现功能，但难度颇高且不方便，特别是划分和整理的步骤（本质问题是：多线程同时使用相同数据时，出于线程安全考虑进行锁定的常用策略会 引发大量竞争 ）。 而 并行框架（Parallel Framework） 专门用于在这些应用场景中提供帮助。 2.并行框架组成 PFX

. 进程和线程之间有什么不同？ (self contained)Java 2. 多线程编程的好处是什么？ CPU 3. 用户线程和守护线程有什么区别？ Java JVM JVM 4. 我们如何创建一个线程？ Runnable Thread Thread Thread , run 线程生命周期？ ① 新建状态(New Thread) Java语言中使用new 操作符创建一个线程后，该线程仅仅是一个空对象，它具备类线程的一些特征，但此时系统没有为其分配资源，这时的线程处于创建状态。 Thread类的方法来设置各种属性， ② 就绪状态(Runnable) start()方法启动一个线程后，系统为该线程分配所需资源，使该线程处于就绪状态。 ③ 运行状态(Running) Java运行系统通过调度选中一个处于就绪状态的线程，使其占有CPU并转为运行状态。此时，系统真正执行线程的run()方法。 ④ 阻塞和唤醒线程 (Blocked)：一个正在运行的线程因某些原因不能继续运行时，就进入阻塞 状态。这些原因包括： ⑤ 死亡状态(Dead) run()方法执行结束后进入死亡状态。此外，如果线程执行了interrupt()或stop()方法，那么它也会以异常退出的方式进入死亡状态。 终止线程的三种方法 ① 使用退出标志，使线程正常退出，也就是当run方法完成后线程终止，推荐使用。 ②

多核CPU 如果你不幸拥有一个多核CPU，你肯定在想，多核应该可以同时执行多个线程。 如果写一个死循环的话，会出现什么情况呢？ 打开Mac OS X的Activity Monitor，或者Windows的Task Manager，都可以监控某个进程的CPU使用率。 我们可以监控到一个死循环线程会100%占用一个CPU。如果有两个死循环线程，在多核CPU中，可以监控到会占用200%的CPU，也就是占用两个CPU核心。要想把N核CPU的核心全部跑满，就必须启动N个死循环线程。 试试用Python写个死循环： ? 1 2 3 4 5 6 7 8 9 10 import threading, multiprocessing def loop(): x = 0 while True : x = x ^ 1 for i in range (multiprocessing.cpu_count()): t = threading.Thread(target = loop) t.start() 启动与CPU核心数量相同的N个线程，在4核CPU上可以监控到CPU占用率仅有102%，也就是仅使用了一核。 但是用C、C++或Java来改写相同的死循环，直接可以把全部核心跑满，4核就跑到400%，8核就跑到800%，为什么Python不行呢？ 因为Python的线程虽然是真正的线程，但解释器执行代码时

文章出处 https://www.cnblogs.com/wupeiqi/articles/5040827.html Python线程 Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #!/usr/bin/env python # -*- coding:utf-8 -*- import threading import time def show(arg): time.sleep( 1 ) print 'thread' + str (arg) for i in range ( 10 ): t = threading.Thread(target = show, args = (i,)) t.start() print 'main thread stop' 上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。 更多方法： start 线程准备就绪，等待CPU调度 setName 为线程设置名称 getName 获取线程名称 setDaemon 设置为后台线程或前台线程（默认） 如果是后台线程，主线程执行过程中，后台线程也在进行，主线程执行完毕后，后台线程不论成功与否，均停止 如果是前台线程，主线程执行过程中，前台线程也在进行

最近在学习python多线程和网络socket编程，以一个小的多线程socket程序作为练习，展示python多线程及网络socket编程的主要使用方法。 1、python多线程 python多线程实现方式主要有三种： 创建一个 Thread 的实例，传给它一个函数 创建一个 Thread 的实例，传给它一个可调用的类对象 从 Thread 派生出一个子类，创建一个这个子类的实例 其中，常用的方法为第一种和第三种。第一种方法实现相对简单，直接将待执行函数作为参数传递我给threading.Tread(target = func , args = ( XX,XX ))执行，其中target参数是即将在线程中执行的函数，args是函数参数。示例如下： import threading def add(x , y) : print(x + y) t = threading.Thread(target=add , args=(1 , 2)) t.start() 第三种方法使用较为灵活，自定义线程类继承自threading.Thread类，并重写run方法即可，将线程需要执行的操作在run方法中实现，示例如下： import threading class MyThread(threading.Thread) : def run(self): print("my thread") t =

并发与并行的区别：（来自百度百科） 并发 ：并发当有多个线程在操作时,如果系统只有一个CPU,则它根本不可能真正同时进行一个以上的线程，它只能把CPU运行时间划分成若干个时间段,再将时间 段分配给各个线程执行，在一个时间段的线程代码运行时，其它线程处于挂起状。.这种方式我们称之为并发(Concurrent)。 并行 ：当系统有一个以上CPU时,则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程，两个线程互不抢占CPU资源，可以同时进行，这种方式我们称之为并行(Parallel)。 区别 ：并发和并行是即相似又有区别的两个概念，并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。在多道程序环境下，并发性是指在一段时间内宏观上有多个程序在同时运行，但在单处理机系统中，每一时刻却仅能有一道程序执行，故微观上这些程序只能是分时地交替执行。倘若在计算机系统中有多个处理机，则这些可以并发执行的程序便可被分配到多个处理机上，实现并行执行，即利用每个处理机来处理一个可并发执行的程序，这样，多个程序便可以同时执行。 以上来自于百度百科，简单来说，并发和并行在宏观上都体现为多个线程同时运行。若这些线程运行在单核处理器上，则这些线程只能交替运行，此时为并发；若这些线程运行在多核处理器上，此时每个线程可以占用一个处理器，这些线程同时运行

服务端 # coding=utf-8 import threading import socket socket_list = [] s = socket.socket() s.bind(('172.30.213.238', 3000)) s.listen() def read_from_client(s): try: return s.recv(1024).decode('utf-8') except: # 如果异常的话可能就是会话中断 那么直接删除 socket_list.remove(s) def server_target(s): try: while True: content = read_from_client(s) print(content) if content is None: break for client_s in socket_list: client_s.send(content.encode('utf-8')) except IOError as e: print(e.strerror) while True: c, addr = s.accept() # 一直等待客户端的连接 socket_list.append(c) # 如果收到则加到列表中 threading.Thread(target=server_target, args=(c,))

Listen & Read服务（多线程模型响应请求）（转载） import threading import socket import time encoding = 'utf-8' BUFSIZE = 1024 # a read thread, read data from remote class Reader (threading.Thread) : def __init__ (self, client) : threading.Thread.__init__(self) self.client = client def run (self) : while True : data = self.client.recv(BUFSIZE) if (data): string = bytes.decode(data, encoding) print "from client::" ,string, "" self.client.send( "return frome server::" + string) else : break print "close:" , self.client.getpeername() def readline (self) : rec = self.inputs.readline() if rec: string = bytes.decode