Go程序跑着跑着突然退出,终端打印一行fatal error: all goroutines are asleep - deadlock!,后面跟着几十段goroutine调用栈。这不是某一行代码崩了,是runtime判定整个进程里再也不会有goroutine被唤醒,主动fatal退出。触发点在最后一个M即将进入idle时,几乎瞬时打印,没有等超时轮询这回事。这个报错遇到过不止一次,基本都在本地调试或者单测里炸出来。
线上反而多半看不到这行,服务直接hang住不动。
先分清两种fatal
同一个checkdead()抛两种字符串。常见的是all goroutines are asleep - deadlock,意思是所有用户goroutine都停在waiting状态,且没有任何timer会在将来把它们唤醒;另一种是no goroutines (main called runtime.Goexit) - deadlock,出现在main自己调了runtime.Goexit()、一个用户goroutine都不剩的时候。两处都在runtime/proc.go里,排查方向完全不同,后者先去翻main的退出路径,别按channel死锁查。
checkdead判的其实只有两件事
判据粗到让人意外:还剩下运行中的M吗,每个P的timer堆里还有没有待触发的timer。运行中的M数量是mcount()减掉nmidle、nmidlelocked与nmsys算出来的,只要结果大于run0(通常是0),就说明还有线程在执行,直接返回;等于0时再遍历所有goroutine确认它们都停在_Gwaiting或_Gpreempted,最后扫一遍allp的timers.heap,堆非空也返回,因为将来有timer会唤醒某个goroutine。两问都是否,才走到打印报错那一行。它不维护谁等谁的等待图,所以只能发现全局死锁。
只要有一个goroutine还在跑,比如HTTP服务的Accept循环、一个time.Sleep轮询或者一个ticker,runtime就认为不算死锁,进程会静默卡住而不打印任何东西。现场见过一次,接口全部超时、CPU却是空的,最后靠pprof的goroutine栈才看出所有worker都堵在同一个channel上。
还有几种情形即使所有goroutine都阻塞也不报:编成c-shared或c-archive给宿主程序调用时,宿主还在跑,没有用户goroutine是正常状态;wasm是单线程,同样豁免;panic终止过程中freezetheworld把所有线程冻住,也不该报死锁。checkdead的调用时机是sysmon与templateThread启动、M即将idle(mput)或退出(mexit)那一刻,不是周期性扫描。
五种最常见的成因
1、无缓冲channel只发不收。make(chan int)之后直接ch <- 1,没有接收者,main自己阻塞在发送上。给channel加缓冲能压掉这行报错,但把收发双方同时就绪的同步语义也去掉了,先确认这个握手是不是本来就要的,再决定加不加容量。
2、nil channel永久阻塞。var ch chan int的零值上收发都会永久park,select里用nil禁用某个case是故意的写法,但函数错误分支返回了零值channel、又被拿到select外面直接用,就踩坑了。实测过一次,初始化失败时err被忽略,ch保持nil,整个worker静默挂死。
3、sync.WaitGroup计数不匹配。Add(2)只Done()了一次,或者Done()写在return之后没执行到,Wait()就永远不返回。把defer wg.Done()放到goroutine第一行是最省心的写法,Add()要在go之前调,别在goroutine内部加,否则Wait()可能在计数还没上来时就结束。
4、sync.Mutex重入或者持锁等channel。Go的Mutex不可重入,同一个goroutine第二次Lock会自己等自己;更隐蔽的是握着mu.Lock()去等一个channel,而往这个channel写数据的goroutine又要先拿同一把mu,两边互相干等。当初接手过一个批量导入的服务,就是这个形状,栈上只看到一个goroutine停在chan send,另一边停在Mutex.Lock。
5、多把锁加锁顺序不一致,或者channel的close没人负责。两个事务各自握着对方要的锁、互相干等是一类;fan-out的worker共用一个results channel,谁都不close主协程的range就永远不结束,是另一类。close的所有权要落到唯一一处,通常由生产侧全部发完再关。
最小复现就三行,跑一次能把栈打出来:
package main
func main() {
ch := make(chan int) // unbuffered
ch <- 1 // no receiver
<-ch
}
局部卡死要靠pprof,别等runtime报
服务hang住但不打印fatal时,空导入net/http/pprof,再起一个只绑127.0.0.1:6060的http.ListenAndServe,别开到0.0.0.0。然后抓/debug/pprof/goroutine?debug=2看全量栈,/debug/pprof/block看同步原语上的阻塞调用链,/debug/pprof/mutex看锁争用。空导入挂端点这一步之前漏过一次,结果对着超时日志猜了半天,把端点补上后两分钟就定位到堵在channel receive的那批goroutine。
import _ "net/http/pprof"
go func() {
http.ListenAndServe("127.0.0.1:6060", nil)
}()
GOTRACEBACK=all go run main.go
GODEBUG=schedtrace=1000,syncmetrics=1 go run main.go
go run -race main.go
curl "http://127.0.0.1:6060/debug/pprof/goroutine?debug=2"
GOTRACEBACK=all把全部用户goroutine的栈都打出来,默认只打触发报错那一个;GOTRACEBACK=system再补上runtime自己的系统goroutine;GOTRACEBACK=crash打完还会触发core,方便事后用dlv core翻。GODEBUG=schedtrace=1000,syncmetrics=1每1000毫秒打一次调度器状态并统计锁争用。go run -race不直接检查死锁,抓的是伴生的data race,两件事别混。
把runtime.NumGoroutine()接进周期性日志,数量持续上涨说明是泄漏而不是一次死锁;Prometheus客户端导出的go_goroutines按导数告警,比盯绝对值靠谱。单测里挂上go.uber.org/goleak的VerifyTestMain(m),测试返回时还有残留goroutine就直接失败,是最便宜的一道拦截。
版本差异与两个新工具
实测过Go 1.20、1.21、1.22、1.23、1.24、1.25、1.26,checkdead的判定行为一致,报错都在最后一个M进入idle时立刻打印,没有版本间忽然变严或变松。Go 1.25.0(2025-08-12)加入testing/synctest,测试里能造一个封闭时钟的bubble,把等time.Sleep改成假时钟推进,专治那种靠真实等待拼出来的局部卡死。Go 1.26.0(2026-02-10)把runtime/pprof的goroutineleak作为实验特性放出来,Go 1.27(2026-08-19)正式提供,借GC可达性推断哪些goroutine已经泄漏。2026年的新项目可以直接用这两个,不用再靠NumGoroutine猜。
报错里那行goroutine栈只是时间耗尽的落点,不是成因的位置,顺着它往回查channel的close归属和锁的加锁顺序更有用。这些等待关系在写代码时就能理顺,不必等runtime替程序收场。