Go语言的GPM模型 - Go语言中文社区

Go语言的GPM模型


引言

一些相关知识

  • 进程占用内存:虚拟内存4GB(32bit OS)
  • 线程占用内存:大约4MB

演进过程

并发执行各种线程,切换线程会造成较大的性能损耗,多线程的同步竞争(锁、竞争资源冲突等)问题,最后还有上面说到的占用内存较大。
系统分为内核空间和用户空间,可以通过这个思想,将线程分割开来作为一个个协程co-routine,内核空间存放内核线程,用户空间存放切割后的协程,中间通过协程调度器来维持工作。
所以说,M:N的调度工作就交给了协程调度器,线程层面(即内核空间)语言控制不了,所以说语言间的区别主要在于协程调度器的设计。

Goroutine

Golang将co-routine封装,自己命名为Goroutine,内存占用个位数KB,这样就可以大量产生自己想要的协程。
Golang编写自己的调度器,使得调度更加灵活,所以GPM出现。

GPM

简介

  • G:goroutine 协程
  • P:processor 处理器
  • M:thread 内核线程

结构

  • 全局G队列:存放等待的G
  • P的本地队列:同样存放等待运行的G,存放限制数量不超过256个,优先将新创建的G存入,若已满则存入全局队列。
  • P列表:许多P组成的列表,程序启动时创建,限制数量为GOMAXPROCS(可设置)。
  • M列表:当前操作系统分配到当前OS程序的内核线程数,限制数量为10000,也可通过runtime/debug包中的SetMaxThreads设置。若有一个M阻塞,则创建一个新的M,若有空闲M,则回收或者睡眠。

设计策略

  • 复用线程:
    work stealing 机制:若某个M处于空闲状态,则可以去偷取别的M对应P队列中等待的G任务来执行。
    hand off 机制:若某个P队列中G任务阻塞,则会唤醒一个新的M,将P队列剩余G任务移入新的M,阻塞的G则等待,对应阻塞的M则回收或休眠。
  • 利用并行:通过GOMAXPROCS限定P的个数,空出一些P给别的程序使用。
  • 抢占:若GA占用CPU时,GB来请求使用,则GA最多使用10ms后释放CPU,再次排队使用。
  • 全局G队列:对于work stealing的补充,空闲的M先去全局G队列中拿取,若全局G队列为空,则再执行work stealing机制去别的M中偷取。(注:全局队列会有锁机制,需要加锁解锁进行偷取)。

M0&G0

  • M0: 程序启动时OS分配给程序的编号0的主线程,在全局变量runtime.m0中,不需要在heap上分配,负责执行初始化和启动第一个G,启动第一个G之后,M0就和其他的M一样了。
  • G0:每个M启动时,都会先创建一个goroutine,它就是G0。G0负责调度M中的各种G任务,从不指向任何可执行的函数,在调度或者系统调用时,M都会先切换到G0,然后通过G0来调度其 他G任务。
    M0的G0会放在全局空间。

上代码(可视化GPM调试)

func main() {
	// 创建trace文件
	traceFile, err := os.Create("trace.out")
	if err != nil {
		log.Fatalln(err.Error())
		return
	}
	defer traceFile.Close()

	// 启动trace
	err = trace.Start(traceFile)
	if err != nil {
		log.Fatalln(err.Error())
		return
	}

	// 逻辑代码
	fmt.Println("Hello GPM~")

	// 停止trace
	trace.Stop()
}

编译运行后会得到一个trace.out文件,然后通过go tool trace工具可以分析trace文件,返回一个url通过浏览器可视化,如下图。在这里插入图片描述

场景

创建G

局部性原则:由一个G1创建一个新的G3时,优先将新的G3放入和G1相同的本地队列中。

G执行完毕

当本地队列一个G执行完毕后,先切换为G0,然后通过G0先去调用本地队列中的G任务。

G开辟过多的G

如果一个G申请创建过多的G,超过了本地队列的最大值,根据创建G的场景,会先依次将本地队列存满,这时本地队列已满,但还有新创建G的需求,比如G8,那么就会将本地队列一分为二,将前一部分的移入全局队列,后一部分往前移 ,并将G8也移入全局队列,此时已有空闲空间,若还有新的G申请创建,则正常放入本地队列即可,循环反复。

唤醒正在休眠的M

每次新创建一个G时,运行的G会尝试唤醒其他空闲的P和M组合去执行。假定唤醒了M2,M2绑定了P2,此时M2会运行自身的G0,但P2队列本身没有G任务,那么M2此时就为自旋线程(没有G任务,但是在运行状态的线程,会不断地寻找G,先从全局G队列中拿取,全局队列为空时,再去别的进程偷取,并且为批量偷取,一分为二,将后半部分全部偷取,总共自旋线程获取数量n符合如下公式)。
n = min(len(GQ) / GOMAXPROCS + 1, len(GQ / 2))

自旋线程的最大限制

  • 自旋线程 + 执行线程 <= GOMAXPROCS
  • 多余没事儿做的线程会进行休眠处理,而不是自旋。

G发生系统调用/阻塞

假设当前M1和M2在工作,M3和M4为自旋线程,M5和M6为休眠队列中的休眠线程,即最大线程数为4。当前M2对应的P2中的G1发生系统调用/阻塞且队列中还有G2任务,则M2和P2立即解绑,P2会执行以下判断:如果存在P2本地队列中还有G任务或全局G队列中有G任务或休眠线程队列中有空闲的M,则P2都会立马唤醒一个M与其绑定,否则P2则会加入到空闲P列表,等待M来获取可用的P。上例中,P2本地队列中还有G2任务,则可以与空闲线程队列中的M5进行绑定,继续后续工作。

G从阻塞变为非阻塞

接上例,若G1从阻塞变为非阻塞,此时对应的M2会优先尝试获取原先的P2,若P2已被绑定在别的M,则从空闲P队列中获取,若空闲队列中为空,则M2获取P失败,直接将M2放入休眠线程队列,G变为可运行状态,放入全局G队列中。
————————————————
版权声明:本文为CSDN博主「Pekue」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Pekue/article/details/116237421

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/Edu_enth/article/details/116595567
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢