pytorchのプロセスがkill -9できない．

前提・実現したいこと

pytorchのプロセスがkill -9をしてもkillできず，再起動しないと消すことができません．
再起動せずともプロセスを消す方法をご教授いただきたいです．

試したこと

kill -9 {process num}
pkill -9 python3

補足情報（FW/ツールのバージョンなど）

Ubuntu 18.04
pytorch 1.3.0

otn

2019/11/15 07:40

psでどう表示されますか？

crook

2019/11/15 08:05 編集

早速ありがとうございます． kill後はtopではCPUやメモリが確保されているのが分かります(メモリが解放されることもあります)．またnvidia-smiに表示されるプロセスも残ったままです．こちらはプロセス名が"-"で表示されるが，メモリは確保されたままになる事もあります． psの表示は次の通りです．

otn

2019/11/15 08:01

psにpython3のプロセスは表示されないが、topにはpython3のプロセスが表示されると言うことですか？また、再度「kill -9 プロセス番号」した場合、プロセス無しのエラーになりますか？

crook

2019/11/15 08:07 編集

連投申し訳ありません．オプションを追加したところ表示されました．また，killした場合にはエラーは表示されません． ps -aux | grep python3での表示が以下になります． root 2181 0.0 0.0 188260 19920 ? Ssl 16:40 0:00 /usr/bin/python3 /usr/share/unattended-upgrades/unattended-upgrade-shutdown --wait-for-signal xxx 4546 0.0 0.0 683524 57444 ? Sl 16:49 0:00 /usr/bin/python3 /usr/bin/blueman-applet xxx 4636 0.0 0.0 255984 33220 ? Sl 16:49 0:00 /usr/bin/python3 /usr/share/system-config-printer/applet.py xxx 5928 97.9 4.2 63032868 8422304 ? R 16:50 8:28 /home/xxx/.pyenv/versions/xxx/bin/python3 /home/xxx/Documents/pytorch/xxxxx/multigpu-master/data_parallel/train.py --gpu_devices 0 1 2 3 --batch_size 256 xxx 6409 0.0 0.0 0 0 ? Z 16:51 0:00 [python3] <defunct> xxx 6410 0.0 0.0 0 0 ? Z 16:51 0:00 [python3] <defunct> xxx 6411 0.0 0.0 0 0 ? Z 16:51 0:00 [python3] <defunct> xxx 6412 0.0 0.0 0 0 ? Z 16:51 0:00 [python3] <defunct>

dameo

2019/11/15 09:58

defunctなので、親プロセスが終了処理するのを待ってるだけだと思いますよ。所謂ゾンビプロセスというやつです。 PPID(親プロセスID)も表示してください。

crook

2019/11/15 10:40

返信ありがとうございます． ps -lx の表示結果です． 0 1002 5928 1 20 0 63032868 8422304 - R ? 163:25 /home/dnn/.pyenv/versions/ymd/bin/python3 /home/dnn/Documents/pytorch/yamdaF/multigpu-master/data_parallel/train. 0 1002 5971 5187 20 0 24056 5568 poll_s Ss+ pts/2 0:00 bash 0 1002 6231 6775 20 0 29936 1588 - R+ pts/3 0:00 ps -lx 1 1002 6409 5928 20 0 0 0 - Z ? 0:00 [python3] <defunct> 1 1002 6410 5928 20 0 0 0 - Z ? 0:00 [python3] <defunct> 1 1002 6411 5928 20 0 0 0 - Z ? 0:00 [python3] <defunct> 1 1002 6412 5928 20 0 0 0 - Z ? 0:00 [python3] <defunct>

dameo

2019/11/15 10:48

5928、つまりtrain.pyが子プロセス終了をちゃんと待ってないのではないでしょうか？

dameo

2019/11/15 11:00

関連しそうな記事を探しましたが、↓くらいです。 https://discuss.pytorch.org/t/dataparallel-causing-zombie-process-and-filled-gpu/4702 最新にすると幸せになれるかもですね。よく分かりません。