Shell Scriptでバックグラウンドから変数を加算したい。

Question

前提・実現したいこと

Shell Scriptを書いていて「&」を使ってバックグラウンドで並列処理をするときにバックグラウンド側から変数を加算したい。

発生している問題・エラーメッセージ

下のコードだと最後の出力が2にしかならない。

該当のソースコード

#!/bin/bash
hoge(){
	echo -ne "${COUNT}\c"
	echo -ne "\r\c"
	((COUNT++))
}
COUNT=0
for NUM in {1..999};do
	hoge &
done
hoge
sleep 1
echo "${COUNT}" #最終的に1000になってほしい

試したこと

上のコードなら最後に「COUNT」に1000を足せばそれでもいいんですが、実際に使うときは関数内で足したり足さなかったりifで分岐して別の変数を加算したりしたいので、なんとかバックグラウンド側から変数に干渉したいです。

補足情報（FW/ツールのバージョンなど）

Windows11 WSL2 Ubuntu 20.04LTS

Answer 1

異なるプロセス間で共有できるのはコマンドレベルだとファイルくらいしか無いので、
COUNTの値をファイルに書くのでしょうか。

#!/bin/bash
COUNTFILE=/tmp/COUNT
trap "rm -f $COUNTFILE" 0

hoge(){
    echo -ne "`cat $COUNTFILE`"
    echo -ne "\r"
    flock $COUNTFILE bash -c 'COUNT=`cat '$COUNTFILE'`;echo $((COUNT+1)) > '$COUNTFILE
}
echo 0 >$COUNTFILE
for NUM in {1..999};do
    hoge &
done
hoge
sleep 1
cat $COUNTFILE

Comments

[kanashiikana]

実行してみたところ64GBあるメモリが一瞬で消費されて止まってしまいました。
それと途中で値が想定していない大きさになっていたのも確認できたのでやはりこれを実現するのは難しいということなんでしょうかね……
回答ありがとうございました！別の方法を探してみます。

[otn]

1つの処理がメモリーを大量に消費する処理であれば、そもそも1000平行というのが無理があるのでは？
平行数を現実的な数にしてみましょう。

> それと途中で値が想定していない大きさになっていたのも確認できたので
COUNTの中身がということであれば、それはなにか記述ミスでしょうね。
1000平行であれば、1000は越えないです。

> これを実現するのは難しいということなんでしょうかね……
難しい話では無いです。

[kanashiikana]

>そもそも1000平行というのが無理があるのでは？
なるほど！そりゃそうですよね。10平行を100回やるようにしてやれば問題なく動きました。

>1000平行であれば、1000は越えないです。
echo が重なって出力されてしまっていてうまく表示されていなかっただけでした。echoの使用回数を減らしたらうまくいきました。

無理なものかと思っていたので実装出来てとてもうれしいです。ありがとうございました！

```sh
#!/bin/bash
COUNTFILE=/tmp/COUNT
trap "rm -f ${COUNTFILE}" 0
hoge(){
flock ${COUNTFILE} bash -c 'COUNT=`cat '${COUNTFILE}'`;echo $((COUNT+1)) > '${COUNTFILE}
}
echo 0 > ${COUNTFILE}
for LOOP in {1..100};do
for NUM in {1..9};do
hoge &
done
hoge
echo -ne "$(cat ${COUNTFILE})\c"
echo -ne "\r\c"
done
sleep 1
cat ${COUNTFILE}
```

Answer 2

なんとかバックグラウンド側から変数に干渉したいです。

無理です。バックグラウンド実行指定では、元のシェルのプロセスから別のプロセスが生成されます。異なるプロセス間で変数に干渉することはできません。
※生成時に元のプロセスから値をコピーして引き継ぐだけです。

なので「干渉」ではなく、例えば各ジョブにファイルに結果を追記させていって、最後にファイルの内容を集計するような方法だとか、そういった策を考える必要があります。

Comments

[kanashiikana]

なるほど……迂回策を考える必要があるのですね！
回答ありがとうございます。