社区微信群开通啦，扫一扫抢先加入社区官方微信群
社区微信群
本篇文章是我对 Go 语言并发性的理解总结，适合初步了解并发，对 Go 语言的并发编程与调度器原理有兴趣的读者。
相信读者都对并发有着一定的理解，也都对 Go 语言感兴趣，Go 最吸引人的地方可能就是它的内建并发支持，使用 go 关键字，就可以轻松的实现并发。但是，你真正的了解并发吗？
并发这个词，你去问编程领域中不同的人，会给出不同的答案。对于 WEB 领域的开发人员来说，并发通常是指同一时刻的请求量，WEB 领域的面试官经常会问到的问题：“做过多少并发的项目？”或“接触过高并发的项目吗？”就是应用的这个概念。高并发在这里还有个可能的概念是：同时应对许多请求所使用的技术，这通常与分布式、并行等概念挂钩，需要结合上下文语境来判断。
并发是一个有趣的词，因为它对编程领域中的不同人员意味着不同的事情，在广义概念下，有着许多狭义概念。除了“并发”之外，你可能还听过“并行”、“多线程”、“异步”等词汇，有些人认为这些词意思相同，而其他人则在每个词之间划清界限。
下面，让我们看看 Go 语言编程中，“并发”这个词的概念。
Go 语言的并发性并不是 WEB 领域的并发概念，很多人对此有所混淆。在 Go 语言发布之初，大家对 Go 的并发特性都有所疑问：
面对这些问题，Rob Pike（Go 语言作者之一）在2012年的 Google I/O 上做了一次精彩的演讲：《Go Concurrency Patterns》，在这场演讲中，他回答了上述问题，并通过详细的示例讲解了 goroutine、channel 与 select 的使用，建议大家都去看一看这场演讲。
简单的总结一下并发在 Go 语言编程中的概念：
“并发是一种将程序分解成小片段独立执行的程度设计方法”，它是一种结构化程序的方式，独立执行计算的组合。
在上述的演讲中可以看出，Go 语言推荐使用并发，我们也应该遵循这种编程方式。对于程序员来说，代码更有说服力，我们可以通过这个素数筛选程序来理解 Go 的并发编程：
// A concurrent prime sieve
package main
// Send the sequence 2, 3, 4, ... to channel 'ch'.
func Generate(ch chan<- int) {
for i := 2; ; i++ {
ch <- i // Send 'i' to channel 'ch'.
}
}
// Copy the values from channel 'in' to channel 'out',
// removing those divisible by 'prime'.
func Filter(in <-chan int, out chan<- int, prime int) {
for {
i := <-in // Receive value from 'in'.
if i%prime != 0 {
out <- i // Send 'i' to 'out'.
}
}
}
// The prime sieve: Daisy-chain Filter processes.
func main() {
ch := make(chan int) // Create a new channel.
go Generate(ch) // Launch Generate goroutine.
for i := 0; i < 10; i++ {
prime := <-ch
print(prime, "n")
ch1 := make(chan int)
go Filter(ch, ch1, prime)
ch = ch1
}
}
它并不是复杂度最低的算法，特别是寻找大素数方面，但却是最能体现 Go 并发编程、通过通信共享内存的理念，而且非常优雅。
在这段代码中，通过 goroutine 的组合，实现一层层的筛选器，筛选器之间通过 channel 通信，每一个筛选器就是一个素数，每个给 main goroutine 通信的内容也是素数，简直精妙。
通过下面的 gif 动画能清晰的看到程序运行过程：
只需要 GOMAXPROCS 的值大于1，就可以让 Go 程序在多核机器上实现以并行的形式运行。但并发的程序一定可以并行吗？
我们需要明确一个观点：并发不是为了效率，并发的程序不一定可以并行。还是上面素数的例子，这段代码是并发的，但不可以并行，因为它的每一个执行片段都需要上一个片段的筛选与通信。
正交概念：从数学上引进正交这个词，用于表示指相互独立，相互间不可替代，并且可以组合起来。
在广义概念上来讲，并发与并行是正交概念，对于 Go 语言的并发性来讲也是如此。
同样，在 Go 语言发布之初，有很多人混淆了并发与并行的概念，对此，Rob Pike 发表了另一篇演讲《Concurrency is not Parallelism》，通过地鼠烧书的比喻与简单负载均衡器的示例，详细的阐述了并发与并行的区别。
这里不再复述地鼠例子，只是简单的总结，感兴趣的建议去看演讲：
并行是指同时能执行多个事情。
并发关乎结构，是一种结构化程序的方式。
并行关乎执行，表述的是程序的运行状态。
上面一直在讲 Go 语言的并发性，接下来看下 Go 语言是如何做到的并发支持。
我们在使用 Go 编写并发程序的过程中，无需关心线程的维护、调度等一系列问题，只需要关心程序结构的分解与组合、goroutine 之间的通信就可以写出良好的并发程序，这全部都要依赖于 Go 语言内建的 G-P-M 模型。
在 Go 语言1.0版本时，只有 G-M 模型，Google 工程师 Dmitry Vyukov 在《Scalable Go Scheduler Design Doc》中指出了该模型在并发伸缩性方面的问题：
- 所有对 G 的操作：创建、重新调用等由单个全局锁(Sched.Lock)保护，浪费时间。
- 当 M 阻塞时，G 需要传递给别的 M 执行，这导致调度延迟增大以及额外的性能损耗；
- M 用到的
mCache属于内核线程，当 M 阻塞后相应的内存资源仍被占用，导致内存占用过高；- 由于 syscall 导致 M 的阻塞和恢复，导致了额外性能损耗。
并且亲自下场，重新设计、改进了 Go scheduler，在 Go1.1 版本中实现了 G-P-M 模型：
那么这套模型与调度是怎样的呢？先来简单的说一下 G、P、M 的定义：
接下来了解这套模型的基本调度，在调度过程中还有一个 work-stealing 的算法：
Go 语言就是凭借着这套优秀的并发模型与调度，实现了内建的并发支持。
让我们深入的了解一下 goroutine 调度器。
如果任务G陷入到阻塞的系统调用中，内核线程M将一起阻塞，于是实际的运行线程少了一个。更严重的，如果所有M都阻塞了，那些本可以运行的任务G将没有系统资源运行。
Go 在执行阻塞的系统调用时会调用 entersyscallblock ，然后通过 handoffp 解绑 M 对应的 P。如果此时 P 的本地队列中还有 G，P 会去寻找别的 M 或创建新的 M 继续执行，若本地队列为空，则进入 pidle 链表，等待有需要时被取出。
如果是调用的 entersyscall，会将 P 的状态置为 _Psyscall。监控线程 sysmon 会通过 retake 循环所有的 P，发现是 _Psyscall 状态，就会调用 handoffp 来释放。
在 Go1.1 版本中，是没有抢占调度的，当前 G 只有涉及到锁操作，读写 channel 才会触发切换。若没有抢占机制，同一个 M 上的其他任务 G 有可能会长时间执行不到，甚至会被死循环锁住。
于是 Dmitry Vyukov 提出了《Go Preemptive Scheduler Design Doc》, 并在1.2版本中引入了初级的抢占。
监控线程 sysmon 会通过 retake 循环所有的 P，发现运行时间超出 forcePreemptNS 限制（10ms）的 P，就会通过 preemptone 发起抢占。
内核线程M不是从全局任务队列中得到G，而是从M本地维护的G缓存中获取任务。如果某个M的G执行完了，而别的M还有很多G，这时如果G不能切换将造成CPU的浪费。
这部分的实现是在 M 的启动函数 mstart 中 schedule 的调用来实现，它会先查找本地队列，然后查找全局队列，最后是随机偷取其他 P 的一半 G，直到取到 G 或停掉 M。为了防止全局队列被“饿死”，每61次调度，会先在全局队列中查找。
调度器部分的代码主要集中在 src/runtime/runtime2.go 与 src/runtime/proc.go 这两个文件中。
调度器的4个基本结构：g、m、p、schedt，都在 runtime2.go 中，schedt 可能有些陌生，它是调度器的核心结构，也是全局资源池，用来存储 G 的全局队列，空闲的 P 链表 pidle，空闲的 M 链表 midle 等等。
调度器的具体实现函数都在 proc.go 中，用户的所有代码都是运行在 goroutine 中，Go 在运行时会将 main 中的代码放入 main goroutine 中运行，这时还会启动监控系统 sysmon。
更多关于调度器的细节，例如加锁，与 GC 的交互等，需要通过进一步的阅读源码来了解。
看到这里，相信大家对“并发”会有全新的认识，本文旨在讲清 Go 语言的并发性，在以后的 Go 语言编程过程中，希望更倾向于并发编程。并发编程不仅结构清晰，通常来说也会更容易并行运行，使得程序运行效率提高。
如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！
