GO 语言：致命错误：所有 goroutines 都睡着了 - 死锁

Question

下面的代码适用于硬编码的 JSON 数据，但是当我从文件中读取 JSON 数据时不起作用。使用时出现 fatal error: all goroutines are asleep - deadlock 错误 sync.WaitGroup 。

使用硬编码 JSON 数据的工作示例：

 package main

import (
    "bytes"
    "fmt"
    "os/exec"
    "time"
)

func connect(host string) {
    cmd := exec.Command("ssh", host, "uptime")
    var out bytes.Buffer
    cmd.Stdout = &out
    err := cmd.Run()
    if err != nil {
        fmt.Println(err)
    }
    fmt.Printf("%s: %q\n", host, out.String())
    time.Sleep(time.Second * 2)
    fmt.Printf("%s: DONE\n", host)
}

func listener(c chan string) {
    for {
        host := <-c
        go connect(host)
    }
}

func main() {
    hosts := [2]string{"user1@111.79.154.111", "user2@111.79.190.222"}
    var c chan string = make(chan string)
    go listener(c)

    for i := 0; i < len(hosts); i++ {
        c <- hosts[i]
    }
    var input string
    fmt.Scanln(&input)
}

输出：

 user@user-VirtualBox:~/go$ go run channel.go
user1@111.79.154.111: " 09:46:40 up 86 days, 18:16,  0 users,  load average: 5"
user2@111.79.190.222: " 09:46:40 up 86 days, 17:27,  1 user,  load average: 9"
user1@111.79.154.111: DONE
user2@111.79.190.222: DONE

不工作 - 读取 JSON 数据文件的示例：

 package main

import (
    "bytes"
    "fmt"
    "os/exec"
    "time"
    "encoding/json"
    "os"
    "sync"
)

func connect(host string) {
    cmd := exec.Command("ssh", host, "uptime")
    var out bytes.Buffer
    cmd.Stdout = &out
    err := cmd.Run()
    if err != nil {
        fmt.Println(err)
    }
    fmt.Printf("%s: %q\n", host, out.String())
    time.Sleep(time.Second * 2)
    fmt.Printf("%s: DONE\n", host)
}

func listener(c chan string) {
    for {
        host := <-c
        go connect(host)
    }
}

type Content struct {
    Username string `json:"username"`
    Ip       string `json:"ip"`
}

func main() {
    var wg sync.WaitGroup

    var source []Content
    var hosts []string
    data := json.NewDecoder(os.Stdin)
    data.Decode(&source)

    for _, value := range source {
        hosts = append(hosts, value.Username + "@" + value.Ip)
    }

    var c chan string = make(chan string)
    go listener(c)

    for i := 0; i < len(hosts); i++ {
        wg.Add(1)
        c <- hosts[i]
        defer wg.Done()
    }

    var input string
    fmt.Scanln(&input)

    wg.Wait()
}

输出

user@user-VirtualBox:~/go$ go run deploy.go < hosts.txt
user1@111.79.154.111: " 09:46:40 up 86 days, 18:16,  0 users,  load average: 5"
user2@111.79.190.222: " 09:46:40 up 86 days, 17:27,  1 user,  load average: 9"
user1@111.79.154.111 : DONE
user2@111.79.190.222: DONE
fatal error: all goroutines are asleep - deadlock!

goroutine 1 [semacquire]:
sync.runtime_Semacquire(0xc210000068)
    /usr/lib/go/src/pkg/runtime/sema.goc:199 +0x30
sync.(*WaitGroup).Wait(0xc210047020)
    /usr/lib/go/src/pkg/sync/waitgroup.go:127 +0x14b
main.main()
    /home/user/go/deploy.go:64 +0x45a

goroutine 3 [chan receive]:
main.listener(0xc210038060)
    /home/user/go/deploy.go:28 +0x30
created by main.main
    /home/user/go/deploy.go:53 +0x30b
exit status 2
user@user-VirtualBox:~/go$

主机.TXT

 [
   {
      "username":"user1",
      "ip":"111.79.154.111"
   },
   {
      "username":"user2",
      "ip":"111.79.190.222"
   }
]

原文由 BentCoder 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

Go 程序在 main 函数结束时结束。

从 语言规范

程序执行从初始化 main 包开始，然后调用函数 main。当该函数调用返回时，程序退出。它不会等待其他（非主）goroutines 完成。

因此，您需要等待您的 goroutines 完成。常见的解决方案是使用 sync.WaitGroup 对象。

最简单的同步 goroutine 的代码：

 package main

import "fmt"
import "sync"

var wg sync.WaitGroup // 1

func routine() {
    defer wg.Done() // 3
    fmt.Println("routine finished")
}

func main() {
    wg.Add(1) // 2
    go routine() // *
    wg.Wait() // 4
    fmt.Println("main finished")
}

并用于同步多个 goroutines

 package main

import "fmt"
import "sync"

var wg sync.WaitGroup // 1

func routine(i int) {
    defer wg.Done() // 3
    fmt.Printf("routine %v finished\n", i)
}

func main() {
    for i := 0; i < 10; i++ {
        wg.Add(1) // 2
        go routine(i) // *
    }
    wg.Wait() // 4
    fmt.Println("main finished")
}

WaitGroup 按执行顺序使用。

1. 全局变量声明。使其成为全局是使其对所有函数和方法可见的最简单方法。
2. 增加计数器。这必须在 main goroutine 中完成，因为由于内存模型 保证，无法保证新启动的 goroutine 会在 4 之前执行。
3. 减少计数器。这必须在 goroutine 退出时完成。使用延迟调用，我们确保 只要函数结束就会调用 它，无论它如何结束。
4. 等待计数器达到 0。这必须在主 goroutine 中完成，以防止程序退出。

* 在开始新的 gouroutine 之前评估 实际参数。因此，需要在 wg.Add(1) 之前明确评估它们，这样可能出现恐慌的代码就不会留下增加的计数器。

利用

param := f(x)
wg.Add(1)
go g(param)

代替

wg.Add(1)
go g(f(x))

原文由 Grzegorz Żur 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

感谢 Grzegorz Żur 非常好的和详细的解释。我想指出的一件事是，通常需要线程化的函数不会在 main() 中，所以我们会有这样的东西：

 package main

import (
    "bufio"
    "fmt"
    "io"
    "io/ioutil"
    "math/rand"
    "os"
    "reflect"
    "regexp"
    "strings"
    "sync"
    "time"
)

var wg sync.WaitGroup    // VERY IMP to declare this globally, other wise one   //would hit "fatal error: all goroutines are asleep - deadlock!"

func doSomething(arg1 arg1Type) {
     // cured cancer
}

func main() {
    r := rand.New(rand.NewSource(time.Now().UnixNano()))
    randTime := r.Intn(10)
    wg.Add(1)
    go doSomething(randTime)
    wg.Wait()
    fmt.Println("Waiting for all threads to finish")
}

我想指出的是 wg 的全局声明对于所有线程在 main() 之前完成非常重要

原文由 Romeo 发布，翻译遵循 CC BY-SA 4.0 许可协议