Golang调度器

作者: EagleChan | 来源:发表于2019-02-26 01:17 被阅读444次

本文尽量通俗易懂地讲Go调度器(scheduler)的相关知识,尤其是普通开发者能够关注和控制的部分。调度器本身十分复杂,所以下文难免有疏漏,发现后会尽量及时更新。

要点

  1. go程序的运行,以goroutine为单位,而goroutine实际运行在某个系统线程内。goroutine(可以非常多)和系统线程(相对比较少)并非一一对应。调度时,既有os调度线程,也有go调度器本身调度goroutine。简言之,go原生支持并发,go调度器负责将各个goroutine调度到不同的操作系统线程中取执行。
  2. 三个定义:
    • G: goroutine,就是平常提到的go中的协程
    • P: process,处理器,有的文章说代表上下文,也可以理解为附带有上下文信息的令牌
    • M: machine,线程,就是平常提到的操作系统中的线程
  3. Go早期是GM模型,后来因为性能问题转而使用GPM模型
  4. 执行机制:
    • M绑定P,才可以不断去运行(不同的可执行的)G,可抢占式调度(靠sysmon)
    • P有自己的G队列(无锁访问,快);同时,程序也有一个全局的G队列
    • M执行一些系统调用的时候,可能会与P解除绑定;M也可能休眠
    • M, P, G 三者数量各异,M默认10000(SetMaxThreads更改,一般不用),P默认是机器CPU核数(可由GOMAXPROCS指定),G没有明确限制(通过go指令创建)。

细节

  1. GM到GPM
    早期,GM模型有诸多问题,例如全局锁,M缓存内存占用浪费等,详见《Scalable Go Scheduler Design》。因此,大神操刀加了一层中间层(P),调度模型变成GPM,沿用至今(盗图一张):

    GPM调度模型
    通俗地讲,G要运行,需要绑定一个P(放在P的本地队列里),然后由与P绑定的操作系统线程M真正执行。
    G切换时,只是M从G1切到G2而已,都是在用户态进行着,非常轻量,不像操作系统切换M时比较重。
    P的本地队列中缺少G时,会从其他P的队列里“偷”一些或者从全局队列里取。
    借助于netpoller,发起网络调用时,G阻塞,M不阻塞,切换G即可。而发起文件IO等操作时,会执行(阻塞的)系统调用,(注:现在应该实现了部分poller for os package),此时M也会等待系统调用的返回。M和G一起,会解除与P的绑定。如果P的本地队列还有其他G,就会绑定另外一个空闲的M,如果没有,则新建一个M,然后继续执行可以执行的G。
  2. 调度器实现了抢占
    也就是说如果一个G执行太久,是会被切换出去的。
    这样可以确保整个程序看起来是“并发”执行的,而不是一个G可以执行时就是一直执行,其他G都饿死。
    但是切换点需要是函数调用。假设G中是不调函数的纯无限循环计算,还是无法被抢占。

  3. 什么时候G会被调度

  • 被sysmon设置为抢占
  • channel阻塞或网络IO
  • mutex等同步导致阻塞
  • 使用go关键字创建goroutine
  • GC过程中各种策略导致的调度
    runtime中,网络IO的实现采用了kqueue (MacOS), epoll (Linux)或iocp (Windows) 。
  1. 查看各种调度状态
    执行命令的时候,设置GODEBUG环境变量。例如:GODEBUG=schedtrace=1000,scheddetail=1 godoc -http=:6060

  2. P有local队列的好处
    其实好处有好几点。比较明显的是,GM模型里面,M切换G时,需要从全局队列里面取,需要加锁。GPM中,M绑定着P,M切换的G都在P的本地G队列中,不需要锁。

  3. P默认是机器逻辑核数
    因为超线程技术的存在,逻辑核数会与物理核数不同。下面的语句可以打印出逻辑核数,通过GOMAXPROCS设置时,可别弄错了

fmt.Println(runtime.NumCPU())
  1. M默认是10000
    M对应的是sched.maxmcount,默认10000。通过SetMaxThreads可修改,如果程序使用超过这个数,会自动crash!
// 改动时也会检查,并不能随意设置值
if in > 0x7fffffff { // MaxInt32
    sched.maxmcount = 0x7fffffff
} else {
    sched.maxmcount = int32(in)
}
  1. 相关代码片段(不详细研究的可以不用看了)
    参见下一篇吧,这篇已很长了。

参考链接:

  1. https://www.ardanlabs.com/blog/2018/08/scheduling-in-go-part2.html
  2. https://tonybai.com/2017/06/23/an-intro-about-goroutine-scheduler/

相关文章

  • Golang学习笔记-调度器学习

    Golang的调度器 谈到Golang的调度器,绕不开的是操作系统,进程和线程这些概念。多个线程是可以属于同一个进...

  • Golang调度器

    原文: http://morsmachine.dk/go-scheduler 为什么在内核的线程调度器之外Go还需...

  • Golang调度器

    本文尽量通俗易懂地讲Go调度器(scheduler)的相关知识,尤其是普通开发者能够关注和控制的部分。调度器本身十...

  • golang 调度器

    今天来讲一下调度器,我本来写了两个版本,后面发现都好像不太好,其实核心差不太多,就是层次不够清晰,然后在度娘上又啃...

  • golang调度器

    程序启动时 创建n个操作系统线程 每个线程上面都会运行调度函数; 由于 Go 语言是协作式的调度,不会像线程那样,...

  • Golang汇编

    .... to be continued Golang中很多代码实现,例如strings.Index(),调度器以...

  • Go GPM 模型

    GPM 模型 golang 在系统调度的基础上实现了自己的 goroutine 调度器,即 GPM 模型。goro...

  • golang调度器学习

    概要 本文从几个角度入手,描述和学习调度器原理 讲解调度器的基本概念 go语言的作者实现的C的协程库 libtas...

  • Golang的协程调度器原理及GMP设计思想

    一、Golang“调度器”的由来? (1) 单进程时代不需要调度器 我们知道,一切的软件都是跑在操作系统上,真正用...

  • Golang协程调度器

    说在前面 Golang作为Google亲自孵化出来一门现代编程语言,可以说是吸收了众多早期编程语言的优点,又有其自...

网友评论

    本文标题:Golang调度器

    本文链接:https://www.haomeiwen.com/subject/aspweqtx.html