协程 - Go语言中文社区

协程


生成器语法

yield     一个对象
                      返回这个对象
                      暂停这个函数
                      等待下次next重新激活

def my_gen():
    print('第一次执行')
    a = yield 1
    print('a is:', a)
    print('第二次执行')
    b = yield 2
    print('b is:', b)
    print('第三次执行')
    c = yield 3
    print('c is:', c)

g = my_gen()
v1 = next(g)
print(v1)
v2 = next(g)
print(v2)
v3 = next(g)
print(v3)

运行结果:

image.png

send与yield的切换

send 一个对象
                      激活生成器
                      执行生成器里面的代码
                      遇到yield回到调用位置

def my_gen():
    print('第一次执行')
    a = yield 1
    print('a is:', a)
    print('第二次执行')
    b = yield 2
    print('b is:', b)
    print('第三次执行')
    c = yield 3
    print('c is:', c)


g = my_gen()
v1 = next(g)   #相当于g.send(None) ,生成器的启动需要next或者send(None),否则报错

print(v1)
v2 = g.send('cainiao')
print(v2)
v3 = g.send('xiaobai')
print(v3)

运行结果:

image.png

生产者/消费者模型

import random
import time

#消费者
def consumer():
    while True:
        data = yield
        print('消费者拿到:', data)

#生产者
def producer(cos):
    next(cos)       #激活生成器对象,让他执行到yield
    while True:
        item = random.randint(0, 99)     #随机生产一个数
        print('生产者生产了:', item)
        cos.send(item)     #把item给消费者,切换到消费者函数
        time.sleep(2)

c = consumer()      #返回一个生成器对象
producer(c)

运行结果:

image.png

注意事项:

  • 对一个生成器必须要先next()让他执行到yield才能在send数据进去。
  • 携程是在一个线程内的执行的,本质来说就是不同函数之间的切换调用。
  • 如果某一个协程被阻塞了,整个线程(进程)都被阻塞。任意时刻,只有一个协程在执行。

greenlet

  • 虽然CPython(标准Python)能够通过生成器来实现协程,但使用起来还并不是很方便。
  • Python的一个衍生版 Stackless Python,实现了原生的协程,它更利于使用。于是,大家开始将 Stackless 中关于协程的代码,单独拿出来做成了CPython的扩展包。
    这就是 greenlet 的由来,greenlet 是底层实现了原生协程的 C扩展库。
    需要下载安装此模块
    pip install greenlet
    用greenlet重写上述代码:
from greenlet import greenlet
import random
import time

#消费者
def consumer():
    while True:
        item = p.switch()      #切换到生产者,并等待生产者传入item
        print('消费者拿到:', item)

#生产者
def producer():
    while True:
        item = random.randint(0, 99)     #随机生产一个数
        print('生产者生产了:', item)
        c.switch(item)     #将item传给消费者,切换到消费者函数
        time.sleep(2)      #每生产一个就休息一些,方便我们看效果

c = greenlet(consumer)  #将一个普通的函数变成协程
p = greenlet(producer)
c.switch()   #运行消费者

运行结果:

image.png

greenlet作用

  1. 高性能的原生协程;
  2. 语义更加明确的显式切换;
  3. 直接将函数包装成协程,保持原有代码风格。
gevent协程

虽然,我们有了 基于 epoll 的回调式编程模式,但是却难以使用。即使我们可以通过配合 生成器协程 进行复杂的封装,以简化编程难度。但是仍然有一个大的问题: 封装难度大,现有代码几乎完全要重写gevent,通过封装了 libev(基于epoll) 和 greenlet 两个库。帮我们做好封装,允许我们以类似于线程的方式使用协程。以至于我们几乎不用重写原来的代码就能充分利用 epoll 和 协程 威力。
安装:pip install gevent

import gevent

from gevent import monkey
monkey.patch_socket()       #打了这个补丁,下面导入的socket都会被epoll监控
import socket

def func(conn):
    while True:
        data = conn.recv(1024)
        if data:
            print('接受的数据%s'%data.decode())
            conn.send(data)
        else:
            conn.close()
            break

server = socket.socket()
server.bind(('0.0.0.0', 7001))
server.listen()
print('等待连接......')

while True:
    conn, addr = server.accept()
    print('{}上线'.format(addr))
    gevent.spawn(func, conn)     #创建一个协程

运行结果:


image.png

image.png

image.png

gevent的作用

遇到阻塞就切换到另一个协程继续执行 !

  1. 使用基于 epoll 的 libev 来避开阻塞;
  2. 使用基于 gevent 的 高效协程 来切换执行;
  3. 只在遇到阻塞的时候切换,没有轮需的开销,也没有线程的开销;

gevent协程通信

  • 问题一:协程之间不是能通过switch通信嘛?
    是的,由于 gevent 基于 greenlet,所以可以。
  • 问题二:那为什么还要考虑通信问题?
    因为 gevent 不需要我们使用手动切换,而是遇到阻塞就切换,因此我们不会去使用switch !

gevent.queue.Queue

image.png

总结:
充分利用cpu多进程,用线程来做计算密集型任务,gevent来做IO密集型任务。

版权声明:本文来源简书,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://www.jianshu.com/p/537fa41a4ff8
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-01-12 13:02:36
  • 阅读 ( 889 )
  • 分类:

0 条评论

请先 登录 后评论

官方社群

GO教程

推荐文章

猜你喜欢