Dockerコンテナ内でGPU処理有プログラムを実行後，ssh接続を遮断するとコンテナが強制終了する。

Question

前提・実現したいこと

ssh接続先のUbuntu内でdockerコンテナを起動し，GPUを用いた長時間プログラムを実行したいです。
数日かかるプログラムであるため，ssh接続を遮断した状態で実行させておきたいです。

しかし，ssh接続を遮断するとコンテナが強制終了されてしまいます。
本問題を解決する方法をご教授ください。

発生している問題・エラーメッセージ

以下のコマンドにてdockerを起動。

docker run -i --name ${CONTAINER_NAME} --gpus all -v ${FOLDER}:/work -w /work ${IMAGE_NAME}
docker exec -it ${CONTAINER_NAME} /bin/bash

以下のコマンドにて実行。

nohup ./test &

ctrl+P ctrl+q にてコンテナを抜ける。
この段階ではコンテナ内のプログラムは実行されている。
しかし，ssh接続を遮断した瞬間にコンテナが終了してしまう。

試したこと

GPUを用いないCPU処理のみのプログラムの場合は継続して実行されることから，
GPU関連の問題でないかと考えています。

補足情報（FW/ツールのバージョンなど）

OS: Ubuntu 20.04

GPU:NVIDIA RTX A6000
NVIDIA-SMI: 470.86
Driver Version: 470.86
CUDA Version: 11.4

Docker(rootless):
Version: 20.10.10
API version: 1.41

Answer 1

tmuxなどの端末多重化ソフトを使ってみてはどうでしょう
https://www.tohoho-web.com/ex/tmux.html

私の場合には、Raspberry PiにSSH接続して処理をしていたときに、SSH接続を切るとプロセスも終わってしまう問題があってtmuxを使っていました。tmuxでセッションを作ってその中でプロセスを動かしておき、再度SSH接続するときにセッションに接続して作業を再開していました。