golang の mutex で排他制御がかからない

Question

下記のコードで、m がロックされません。
なぜですか？

mutex := sync.Mutex
eg := errgroup.Group{}
m := make(map[string][]string)
for 条件 {
eg.Go(func() error {
mutex.Lock()
m に追加
mutex.Unlock
return nil
})
}
eg.Wait()

Answer 1

errgroup パッケージの使い方はあっています。上記のコードはローカル環境でコンパイルできましたか？(条件 や m に追加 などを想定通り記述した上で)

以下は上記のコードに少しだけ手入れして、動作するようにしたコード例です。

• main.go

package main

import (
	"fmt"
	"strconv"
	"sync"

	"golang.org/x/sync/errgroup"
)

func main() {
	var mu sync.Mutex
	eg := errgroup.Group{}
	m := make(map[string][]string)
	for i := 0; i < 10; i++ {
		i := i
		eg.Go(func() error {
			mu.Lock()
			m[strconv.Itoa(i)] = []string{strconv.Itoa(i * 100)}
			mu.Unlock()
			return nil
		})
	}
	eg.Wait()

	fmt.Printf("m: %+v", m)
}

https://play.golang.org/p/EgRFZxCWyVE

• 出力結果

m: map[0:[0] 1:[100] 2:[200] 3:[300] 4:[400] 5:[500] 6:[600] 7:[700] 8:[800] 9:[900]]

追記

for loop上の変数をgoroutineで並行処理する場合には注意が必要です。以下のコードは正しく動きません。

package main

import (
	"fmt"

	"golang.org/x/sync/errgroup"
)

func main() {
	g := errgroup.Group{}
	s := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}

	for _, v := range s {
		// v := v としてループごとに独立したアドレスで値を確保する必要があります
		g.Go(func() error {
			fmt.Printf("value: %d\n", v)
			return nil
		})
	}

	g.Wait()
}

上記の for range 内で宣言している値のアドレスはループごとに独立ではなく、 同じ アドレスを共有しています。そして、それぞれのgoroutineではクロージャで変数の "アドレス" を参照しています。つまりgoroutineで変数の値を参照するときに競合状態になっています。

ループごとの独立した変数のアドレスを確保しなおす必要があります。

Comments

[d_tutuz]

ちなみに eg.Wait() の戻り値の error はチェックしたほうが良いです。(上記のサンプルコードでは省いていますが)

[pekuchan]

ありがとうございます。
error はチェックするようにします。

コンパイルは通っています。
どこがポイントだったのでしょうか？
申し訳ございません。
何が原因だったのか、違いが分かっていません。

ちなみに、m への追加は
m[stringA] = append(m[stringA], string〜)
としています。
この辺のハッキリ書かない部分に問題があるのかもしれません。

[d_tutuz]

errgroup パッケージと sync パッケージの使い方は問題ないと思います。

m[stringA] = append(m[stringA], string〜)

のようなmapのvalueのsliceにappendする動作も問題なく動作すると思いますが、むしろpekuchanさんが「m がロックされません。」と思われた理由はどこにありますか？？

[d_tutuz]

Go Playgroundで動作するようなサンプルがあれば、もう少し的確なコメントができるかもしれません。

[pekuchan]

ありがとうございます。
やはり sync の使い方以外のところに問題があるのかもしれません。
実際に動作しているコードを準備します。（少し時間がかかります）

> 「m がロックされません。」と思われた理由はどこにありますか？？

ループを抜けた後で、m を表示しました。
そうしますと、各ループでそれぞれ設定されると想定していた値が、１ループ分と思われる値しか設定されていませんでしたので、そう判断しました。

しかし、まずそもそも、gotoutine を外して本当に値が設定されるか、を見てみます。
お手数をお掛けして申し訳ございません。

[pekuchan]

こちらがそのコードです。
No Goroutine と Goroutine とで結果が異なります。

func test() error {
type s struct {
m1 string `json:"m_1"`
}

var stringListInStruct map[*s][]string
var resultMap map[*s][]string
var mutex = &sync.Mutex{}

s1 := s { "AAAAA" }
s2 := s { "BBBBB" }
s3 := s { "CCCCC" }

stringListInStruct = make(map[*s][]string)
stringListInStruct[&s1] = append(stringListInStruct[&s1], "11111")
stringListInStruct[&s1] = append(stringListInStruct[&s1], "22222")
stringListInStruct[&s1] = append(stringListInStruct[&s1], "33333")
stringListInStruct[&s2] = append(stringListInStruct[&s2], "11111")
stringListInStruct[&s2] = append(stringListInStruct[&s2], "22222")
stringListInStruct[&s3] = append(stringListInStruct[&s3], "22222")

g := errgroup.Group{}

util.WriteLog(util.I, "No Goroutine")
resultMap = make(map[*s][]string)
for k, v := range stringListInStruct {
for _, v2 := range v {
resultMap[k] = append(resultMap[k], v2)
}
}
for k, v := range resultMap {
util.WriteLog(util.I, fmt.Sprintf("k[%s] v[%s]", k.m1, v))
}

util.WriteLog(util.I, "Goroutine")
resultMap = make(map[*s][]string)
for k, v := range stringListInStruct {
g.Go(func() error {
mutex.Lock()
for _, v2 := range v {
resultMap[k] = append(resultMap[k], v2)
}
mutex.Unlock()
return nil
})
}
g.Wait()

for k, v := range resultMap {
util.WriteLog(util.I, fmt.Sprintf("k[%s] v[%s]", k.m1, v))
}

return nil
}

[d_tutuz]

Goのfor loop上の変数をgorutineで並行処理する場合には注意が必要です。

for k, v := range stringListInStruct {

のk, vはループごとに独立ではなく同じアドレスを共有しています。そして、それぞれのgoroutineではクロージャで変数の "アドレス" を参照しています。つまりgoroutineで変数の値を参照するときに競合状態になっています。

いただいたコードをループ内で独立した変数を確保して正しく動くようにしたものを記述しました。ご確認ください。

https://play.golang.org/p/JJRWroyM30Q

------

私の記事ではないですが、「Goのforとgoroutineでやりがちなミスとたった一つの冴えたgo vetと」のような記事も参考になると思います。

https://qiita.com/sudix/items/67d4cad08fe88dcb9a6d

[pekuchan]

ありがとうございました。
私の情報が足りずにお手数をお掛けしました。
とても親切に教えていただき感謝いたします。