jupyternotebookから別のjupyternotebookを呼び出し実行する。

Question

実現したいこと

jupyternotebookから引数を渡しつつ、別のjupyternotebookを呼び出し実行したいです。
また、実行結果をHTMLで保存したいです。
jupyternotebookから別のjupyternotebookを呼び出し実行は、runコマンドを使うことできました。
しかし、実行はできますが引数がうけとれません。

また、HTMLの保存はできましたが、結果が反映されていませんでした。
! jupyter nbconvert --to 該当ファイル.ipynb
上記のrunコマンドで実行した後、保存しても実行結果が反映されていませんでした。

詳しい方ご教示いただけますと幸いです。

発生している問題・分からないこと

別のnotebookへ引数を渡しながら実行する方法がわからない。
HTML保存はできるが、結果が反映されない

該当のソースコード

#Notebookの呼び出し実行
呼び出す側.ipynb
・・・
run 実行ファイル.ipynb　引数
・・・

呼び出される側.ipynb
・・・
import sys
args = sys.argv
・・・

#HTML保存
! jupyter nbconvert --to 該当ファイル.ipynb

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

色々調べたのですが、うまくいきませんでした。

補足

特になし

Comments

[TakaiY]

jupyterのファイルはインタラクティブに使うのが前提で、他から呼ぶことは想定されていないはずです。そういう用途には通常のpythonのコードを使うと思うのですが、jupyterのファイルを使いたい理由は何ですか？

[gardsb]

現在、検証パターンとして6パターンあります。
現在、それぞれの検証を記録するにあたり、以下のような方法をとっています。
1. 各検証パターンのデータを入力値と入力
2．結果をHTMLとして保存
3．入力データを変えて再度検証
上記の方法では、入力データを変えて、HTML保存というサイクルを６回繰り返さないといけません。
そこで、入力データを変えて、HTMLで保存というサイクルをプログラムでできないかと思いました。
別のjupyternotebookで６回ループを回し、ループごとに入力データを変えながら、該当のうjupyternotebookを呼び出すことで、今まで６回繰り返していた作業を1回の実行で済ませようとしているのが背景にあります。
jupyternotebookで実行するのは途中の出力結果も見たいからです。

[bsdfan]

sys.argv で渡せるのは、実行される側が通常の py ファイルの場合だと思われます。
ipynb の場合は、%run の引数では渡せないのではないでしょうか。
呼び出す側で変数を定義しておけば、呼び出される側でその変数を使えるので、そうやって値を渡せばいいと思います。
ただ、%run ****.ipynb では、呼び出される側を実行したときの変数, 出力を呼び出す側に持ってくるだけで、呼び出された ipynb ファイルが更新されるわけではありませんので、質問者さんがやりたいこととは違うんじゃないでしょうか。

[bsdfan]

パラメータを変えながら ipynb を実行して、html に出力するということなら、nbformat と nbconvert の ExecutePreprocessor を使えばできそうです。
https://nbconvert.readthedocs.io/en/latest/execute_api.html

[gardsb]

コメントありがとうございます。解決しそうです。
ベストアンサーに選びたいので同じ内容を回答欄に投稿いただけますでしょうか？

Answer 1

パラメータを変えながら ipynb を実行して、html に出力するということなら、nbformat と nbconvert の ExecutePreprocessor を使えばできそうです。
https://nbconvert.readthedocs.io/en/latest/execute_api.html

下記は、こんなイメージになるのかなというコードです。

import nbformat
import nbconvert
from nbconvert.preprocessors import ExecutePreprocessor
from nbconvert import HTMLExporter

# テンプレートの読み込み
nb = nbformat.read('template.ipynb', 4)

# パラメータの設定 (0番セルでimport, 1番セルでパラメータ設定)
nb['cells'][1] = nbformat.v4.new_code_cell('''
param1 = 1
param2 = 2
'''.strip())

# ノートブックの実行
ep = ExecutePreprocessor(timeout=600)
ep.preprocess(nb)

# 実行結果の保存
with open('output.ipynb', 'w') as f:
    nbformat.write(nb, f)

# htmlに変換
html_exporter = HTMLExporter(template_name="classic")
(body, resources) = html_exporter.from_notebook_node(nb)

# htmlの保存
with open('output.html', 'w', encoding='utf-8') as f:
    f.write(body)

Comments

[gardsb]

ありがとうございます。無事行うことができました。
HTMLでの保存は連携頂いたコードで行いました。
ただ、引数の受け取りがうまくいきませんでしたので、
Papermillを使用して引数の受け渡しを行いました。

以下のサイトを参考にpapermillを使用しました。
https://qiita.com/MasafumiTsuyuki/items/7e8f7fd043243128450d