notebookではなく.pyファイルを用いる意味

Question

機械学習のコンペティションであるkaggleなどに参加していると、上位入賞者のgithub repositoryなどをみる機会があるのですが、可視化などのEDAにjupyter notebookを用い、特徴量エンジニアリングやモデリングの部分はnotebookではなく.pyファイル（スクリプトファイル）を用いています。私個人としては、EDAに始まりモデリングなども含めてnotebookを用いており、notebookを用いた方が正しく計算できているかの確認や試行錯誤ができ、便利だと感じているのですが、.pyファイルにすることに何か利点があるのでしょうか？もしくは、皆さんモデリング等にもnotebookを用いていても、最終的にスクリプトファイルにまとめるような作業をなさっているんでしょうか？その場合の動機はどのようなものなのでしょうか？

かなり答えづらい質問かもしれませんが、どうぞよろしくお願いします。

[追記]そもそもコマンドラインから実行することのメリットがいまいちわかっていません。。。

Answer 1

複雑なものになってくると、単純に記述量が多かったりモジュール化したかったりといった要件が出てきて、jupyterではきつくなると思います。開発環境がやってくれる支援などもjupyterは劣りますので・・・

あとはkaggleなんかだと、高性能なサーバで条件を変えながら延々と走らせるバッチを組んでやる場合もあると思うので、なおさらjupyterであるメリットがなくなります。

Comments

[nouken]

回答ありがとうございます。一応、正しく理解できているか確認させてください。
記述量が多い場合、単に管理が大変になるため、スクリプトに分けて管理したいという動機でしょうか？
また支援についてはjupyterは例えば実行後でないと、その後の自動補完がされないなどでしょうか？

最後の点については、ただ単に計算を走らせるだけならnotebook形式である必要がないということですね？

[hayataka2049]

＞記述量が多い場合、単に管理が大変になるため、スクリプトに分けて管理したいという動機でしょうか？
＞また支援についてはjupyterは例えば実行後でないと、その後の自動補完がされないなどでしょうか？
当然それもありますし、他にもいろいろな事情があると思います。デバッガ使いたいとか、引数の説明出してほしいとか・・・jupyterでもある程度の支援は得られますが、拡張入れまくったvscodeやemacsなど本格的なエディタに劣るレベルで、ちゃんとしたIDEには太刀打ちできません。
＞最後の点については、ただ単に計算を走らせるだけならnotebook形式である必要がないということですね？
そういうことです。かえってjupyterの方が扱いづらくなるようなシチュエーションもあると思います（リモートのサーバでjupyter動かしてブラウザで叩いて、寝てる間中回すとしたらブラウザ立ち上げっぱなしにして繋いでおくの？　とか）。

あとはけっきょく、使い慣れたエディタ（IDE）で書きたいという動機が強いかも（爆）

[nouken]

vscodeなどでは関数の引数などの説明が出るんですね、知らなかったです。。。

>そういうことです。かえってjupyterの方が扱いづらくなるようなシチュエーションもあると思います（リモートのサーバでjupyter動かしてブラウザで叩いて、寝てる間中回すとしたらブラウザ立ち上げっぱなしにして繋いでおくの？　とか）。
実際今はブラウザで計算回したまま、画面だけ暗くして寝るとかいうこともあるんですが、コマンドからスクリプトファイルを実行する場合にも結局つけたままじゃないでしょうか？

>あとはけっきょく、使い慣れたエディタ（IDE）で書きたいという動機が強いかも（爆）
なるほどです、実際僕はnotebookから始めた者ですので、なかなかエディタでコーディングしてコマンドラインから実行ということにあまり慣れておらずいまいちピンときません。。

[hayataka2049]

docstringから説明を引っ張ってきてくれるとか、型ヒントに基づいて警告出してくれるとか、いろいろあるでしょうね。

＞コマンドからスクリプトファイルを実行する場合にも結局つけたままじゃないでしょうか？
バックグラウンド実行でもさせて端末は適当に切るとか、いろいろやり方はあります。

Answer 2

試行錯誤はともかく、いったん手順が定まったら、同じコードを何度も何度も打ち直すのはタルくないですか？

一回限りの作業のように思えていても、何日も経ってから疑問が出てきて、あのときの作業に抜けやミスがなかったか改めて確認したいということはないですか？ そのときにnotebookの書捨てだけで対応できないでしょう。 スクリプトにしておけば、それ自体が作業記録になります。
pythonに限らず、一行・二行のコマンドラインでの作業ですむような仕事でも私は極力スクリプトにしますよ。20190314.shみたいなのを作業ディレクトリにたくさん保存しています。ドキュメントも作るけれど、私は粗忽なのでそのときに興味がない（でも大事な）項目をしばしば書き忘れます。あとで見ると途中の2ステップぐらいの記述がごっそり抜けていたりします。スクリプトファイルは嘘をつきません。

Comments

[nouken]

回答ありがとうございます。自分の作業プロセスとしては、何かしらの変更や新しいことを試す際にはnotebookをコピーして付け足していくという風にしています。そのため、同じコードを何度も書くという経験はあまりしていません。また、元のnotebookを残しているので、後から確認しに戻ることもできます。

[KojiDoi]

なるほど。私はコードの保存やメモはテキストエディタで必要十分で、notebookなんだか回りくどく感じてしまう（なのでちらっと触っただけで止めてしまった）のですが、使いこなせば質問者さんのようになるのかもしれませんね。
まあこういう感じ方の人間もいるという参考としてみていただければ幸いです。

python本体さえあれば私のような人間にも問題なくスクリプトを使わせられるということが成果物を.pyで持っておく「利点」ではないでしょうか。

[nouken]

プログラミングを全く触ったことがなく、Pythonを始めた時に、notebookから入ったのが大きいんじゃないかと思っています。そのため、エディタを使ってスクリプトを書き、コマンドラインから一気に実行する（notebookだと細々実行できる)ことに違和感（？）を感じてしまいます。違和感というよりは単に面倒臭いといった方が良いかもしれません。

なるほど、そういう考え方もありますね。
あとは、よく使うような関数とかをモジュールとして持っていれば、別のスクリプトで import hoge するだけで使える、といったことなどでしょうか。。