协程

协程

由于GIL锁导致在Cpython中多线程无法并行执行，只能并发执行。而并发实现的原理是切换+保存，那就意味着使用多线程实现并发，就需要为每一个任务创建一个线程

问题一：必然增加了线程创建销毁与切换带来的资源开销。

问题二：高并发情况下，由于任务数量太多导致无法开启新的线程，使得即没有实际任务要执行，也无法创建新线程来处理新任务的情况

所以应想办法避免创建线程带来的问题，同时又能保证并发效果，协程就是使用单线程来实现多任务并发

单线程实现并发

并发 = 切换任务+保存状态。python中的生成器就具备这样一个特点，每次调用next都会回到生成器函数中执行代码，并且是基于上一次运行的结果，这就意味着生成器会自动切换任务并保存执行状态

def task1():
    while True:
        yield
        print('task1 run')


def task2():
    g = task1()
    while True:
        next(g)
        print('task2 run')


task2()

并发虽然实现了，但是效率如何呢？

# 两个计算任务：一个采用生成器切换并发执行，一个直接串行调用
import time
def task1():
    a = 0
    for i in range(50000000):
        a += i
        yield


def task2():
    g = task1()
    b = 0
    for i in range(50000000):
        b += i
        next(g)


start_time = time.time()
task2()
print('spend time:', time.time() - start_time)
----------------------------------------------------------------
spend time: 15.74790096282959
 
----------------------------------------------------------------
import time
def task1():
    a = 0
    for i in range(50000000):
        a += i


def task2():
    b = 0
    for i in range(50000000):
        b += i


start_time = time.time()
task1()
task2()
print('spend time:', time.time() - start_time)
----------------------------------------------------------------
spend time: 5.204086065292358
# 单线程下串行执行两个计算任务，效率反而比并发高，因为并发需要不停的来回保存和切换

可以看出对于纯计算任务而言，单线程并发反而使执行效率下降了，所以单独使用协程并不适合处理计算型任务

greenlet模块实现并发

当处理多个任务时，使用yield编程实现并发十分混乱，因此有人用greenlet模块专门对yield进行了封装

import greenlet


def task1():
    for i in range(20):
        print('task1')
        t2.switch()  # 切换到任务t2


def task2():
    for i in range(20):
        print('task2')  
        t1.switch()  # 切换到任务t1


t1 = greenlet.greenlet(task1)
t2 = greenlet.greenlet(task2)
t1.switch()

该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，但是无论是直接使用yield还是greenlet模块都不能在遇到IO时自动切换任务，所以就有了gevent模块。

gevent模块实现并发

常用方法

# 创建协程对象
g = gevent.spawn(func,*args,**kwargs)
# func是任务的函数名，args与kwargs为传入func中的不定长参数

g.join()  # 等待g结束再执行主线程
gevent.join((g1,g2))  # 等待g1，g2结束后再执行主线程

g.value()  # 拿到func的返回值

遇到IO阻塞时会自动切换任务

from gevent import monkey  # 导入monkey补丁
monkey.patch_all()  # 打补丁
import time
import gevent


def task1():
    print('task1 run....')
    time.sleep(3)
    print('task1 end....')


def task2():
    print('task2 run....')
    time.sleep(2)
    print('task2 end....')

g1 = gevent.spawn(task1)  
g2 = gevent.spawn(task2)

# 执行以上代码并不会有任何打印信息，因为协程任务都是以异步方式来提交，所以主线程会继续往下执行，执行完最后一行主线程也就结束了。导致了协程任务没有来的及执行，所以必须使用join来让主线程等待协程任务执行完毕
g1.join()
g2.join()

注意事项：

1.如果主进程结束了协程任务也会立即结束

2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法

3.必须在打补丁后再使用相应的功能