Vscode のJupyter をバックグラウンドで実行したい

Question

実現したいこと

SSH先のPCでコンテナ内で実行したい.ipynbファイルをVSCode上で操作する際、実行時間が長い場合にバックグラウンドで実行できるようにする方法を知りたいです。

発生している問題・分からないこと

バックグラウンドで動作をするか試すために、下のようなpython のスクリプトを作成しました。
とりあえず行いたいこととして具体的には次のようになります。

sleep をしている間にvscode のタブを閉じ、3分後くらいに再度「実行中のコンテナにアタッチ」よりコンテナに入り、グラフがノートブック上に表示されているようにしたいです。

該当のソースコード

# %%
from time import sleep
import matplotlib.pyplot as plt
import numpy as np

# %%
sleep(30)

# %%
x = np.arange(-10, 10, 0.1)
y = np.sin(x)
plt.plot(x,y) 
plt.show()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

試したこととして、SSH接続＋VSCodeでのJupyterカーネルのバックグラウンド実行 for Kagglerに書いてあるように

nohup jupyter notebook --allow-root &

を実行し

1. 番号リストnohup.outに書いてあるリンクをコピー
2. vscode 上で今回用いるipynb ファイルを開いたときに右上にあるカーネル選択のところから、「別のカーネルを選択」
3. 「既存のJupyter サーバー」を選択
4. 手順1でコピーしたURLを張り付ける
5. サーバの表示名を適当に設定
6. カーネルとして「Python3 (ipykernel)」を選択

という実行準備までを行い、vscode のjupyter ファイルを開いたときに出る「すべてを実行」を押しすぐにタブを閉じ数分待機しました。そして、再度コンテナに入りそのjupyter ファイルを開いてみたのですが、plot はされていませんでした。

• 「すべてを実行」を押したあと、閉じずに動作させたままにすると正常に動作しplot されました。
• jupyter notebook の方もブラウザで開くことができました
• 「すべてを実行」を押したあとにvscode のタブを閉じるとブラウザのJupyter Notebook は開けなくなりました。
• 再度コンテナに入った際に下のコマンドでJupyter Notebook 一覧を見るとnohup を用いて作成したJupyter Notebook が残っていることは確認しました。

jupyter notebook list

補足

nohupを用いた方法にこだわっているわけではないので、もっとやりやすい方法などがあればそちらでも大丈夫です。

追記

例えば、学習ループの実行時間が長く、学習ループの中で学習曲線を適宜描きたい(plotではなく、保存でもOK)という状況のときにこの処理をバックグラウンドでも正しく画像がplotまたは保存されるようにしたいです。画面を閉じることによって、学習がストップするという状況を避けたいということです。

Comments

[bsdfan]

実際の、質問者さんがやりたいこと、困っていることを書かれたほうがアドバイスが出やすいと思います。
今の質問だと、接続しなおしてから plot すればいいだけに見えます。時間のかかる計算部分はバックグラウンドでやって、表示(時間はかからない)は接続した状態でやるのが基本です。
ipynb 全体をバックグラウンドで実行して、更新・保存したいということでしょうか？

[NUTS]

ありがとうございます。
やりたいことについて追記をしました。「時間のかかる計算部分はバックグラウンドでやって、表示(時間はかからない)は接続した状態でやるのが基本です。」この方法で全然大丈夫なのですが、これはどのようにすればできるのでしょうか?

[bsdfan]

すいません。vscode での話だったんですね。
ブラウザベースの jupyter だと簡単にできるのですが、vscode だとどうやってやるのか(そもそもできるのか)はっきりしないですね。
https://github.com/microsoft/vscode-jupyter/issues/3998

[NUTS]

ブラウザベースのjupyter で行う方法でも大丈夫です。

[bsdfan]

ブラウザでいいなら、jupyter notebook でも jupyter lab でも、kernel を自分で停止しないかぎり、ブラウザを閉じても kernel は動き続けますし、同じファイルを開けば、同じ kernel で動き出すはずです。
あとは単純に、計算だけのセルと表示用のセルに分けて、実行するだけでいいのではないでしょうか。
計算の途中で、プロットを画像として保存するのは plt.savefig() でできます。
ループの中で、プロットを継続的に更新したいとかだったら、簡単にはできないように思います。

[NUTS]

ありがとうございます。試してみます。

Answer 1

jupyter notebookまたはlabを利用するか、pyファイルに変換してnohupを用いることで解決しました。