pythonで実行時にバックエンドを毎回読み込みたくない

Question

バックエンドにtensorflowを使っています。

これをコマンドで

「python ○○.py」

と実行しますが、

毎回 Using TensorFlow backend.

から始まるため、実行が遅くなります。

Jupyter Notebookでは

２回目からは読み込んだ状態になるので高速ですが、

コマンドから使う場合は毎回毎回Usingされるので

これを読み込んだ状態にしたいです。

どなたかご存知の方はいらっしゃいますでしょうか？

ちなみに用途としては、

phpから

exec("python ○○.py")

と呼び出すことを想定しています。

Answer 1

難しいですね。

ロード時間が長いものを取り除いたり、必要になるまでロードしないようにするテクニックはあります。
https://files.bemusement.org/talks/OSDC2008-FastPython/

インタプリタが走ってからメモリにロードしているので、事前にロードするのはOS側としては困るのでしょうね。

ですので、インタプリタが走っている状態を維持することが唯一の解決策のように思います。
Pythonでサーバーを立てて、POSTする形で実行をさせることになります。

そうすると今度は複数のリクエストを同時に実行するにはどうするのかなどなど大変なことになります。

学習で使用するのなら、インポートの時間は無視できるので、構いませんが、
判定に使うのなら、Pythonで直接サーバーを立てるか、重みがわかっているので、個別にコードを書いて自分で計算するほうが速いです。
その場合Pythonなんていう遅い言語を使う必要もありませんが。

---

サーバーを立てるのはFlaskのような簡単なフレームワークでよいのであれば、比較的少ない変更で達成できます。
以下のようなコードでサーバーを立てれば、後はpython ****.pyのところをlocalhost:8080/にアクセスすればよいことになります。

from flask import Flask
#
# imports here
#

app = Flask(__name__)

def main():
    # read
    # models
    # write
    pass

@app.route('/')
def index():
    main()
    return 'Success'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8080)

Comments

[kururi10]

あ！mkgreiさん！
昨年は大変お世話になりました。
今年も宜しくお願い致します＾＾

インタプリタが走っている状態を維持しないと駄目なのですね・・・。

できれば、
jupyterでいろいろ改良してモデルを保存して、
保存したモデルをそのまま他言語で使いたい
というのが試行錯誤するのに自分的にはぴったりなのですが
ちょっとわがままでしょうか・・・。

気になるのが、

①jupyter notebookを使っていると「Running」状態になっている.ipynbは
１回TensorFlowロードすれば
シャットダウンしない限り２回目以降はロードを飛ばせるので
その状態のまま外部から呼び出す方法がないか
（jupyterにリクエストを送るイメージ）

②「Running」状態で維持できているということは、
Anacondaでロードしっぱなしの状態が維持できているような気がして
jupyterが呼び出すように、
他の言語やプログラムからAnacondaにリクエストして
ロードを維持できるような気がするがその方法がないか
（Anacondaにリクエストを送るイメージ）
↓
「Running」状態で維持できている = インタプリタが走っている状態を維持できている？
↓
もしそうなら、jupyterじゃなくて他のプログラムからも
コマンドを送ってRunning状態のようにできる・・・？

の２点です。

ちょっとごちゃごちゃしてしまってすみません＾＾；

[kururi10]

あ、今年のあいさつしててお礼を言うの忘れてました。
ご回答ありがとうございます！

[mkgrei]

よろしくお願いします。

Jupyterでもできるのかもしれませんが、Flaskを使えば今のコードのまま簡単に修正できるのかと思いまして、上記の回答をしました。

サンプルコードのようなものを追記しました。

[kururi10]

おおおお！
教えていただいた通り、Flaskをインストールして
コードを書いてみたところ
意図していた動作ができました。
ありがとうございます＾＾

ソースコードさえ変更しなければ、
再読み込み時にもスピーディーに実行できるようになりました。

Apacheしか使っていなかったので
最初は不慣れでしたが、
ネットで文法を読み込んでいくと
ルーティングとか
シンプルに記述できるんですね。

わざわざコードまで書いていただき
とても嬉しく思っております！
ありがとうございました＾＾