Azure WebApps にデプロイしたPython機械学習プログラムがタイムアウトする

Question

前提

Keras＋Tensorflowで画像のカテゴリ分類を行なうモデルを作成しました。
これをPythonのFlaskライブラリを使って公開したAPIで読み込み、APIにPOSTされた画像のカテゴリを判定する、というプログラムを作り、AzureのWebAppsに配置します。

発生している問題

モデルが１つの時はデプロイ後正しいURLを叩くことでWEBアプリが起動できていたんですが、モデルが多くなるにつれてタイムアウトエラーが発生してしまうようになりました。

HTTP Error 500.0 - Internal Server Error
D:\home\python364x64\python.exe - The FastCGI process exceeded configured activity timeout

これを解決する案、設定、そのほか何かお知恵はありませんでしょうか？

サンプルコード（main.py）

import base64
import io
import json
import time
from datetime import datetime
from platform import python_version

import keras
import numpy as np
from flask import Flask, jsonify, make_response, request
from keras import metrics
from keras.layers import Conv2D, Dense, Dropout, Flatten, MaxPooling2D
from keras.models import Sequential, load_model
from keras.preprocessing.image import array_to_img, img_to_array, load_img
from keras.utils import np_utils
from PIL import Image

start = time.time()
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":App start.")


app = Flask(__name__)
app.config['JSON_AS_ASCII'] = False

print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":1st model load start.")
s1model = load_model("./models/category1.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":1st model loaded. Next 2.")
s2model = load_model("./models/category2.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":2nd model loaded. Next 3.")
s3model = load_model("./models/category3.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":3rd model loaded. Next 4.")
s4model = load_model("./models/category4.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":4th model loaded. Next 5.")
s5_P1model = load_model("./models/category5_P1.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":5th model loaded. Next 6.")
s6_P1model = load_model("./models/category6_P1.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":6th model loaded. Next 7.")
s7_P1model = load_model("./models/category7_P1.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":7th model loaded. Next 8.")
s5_P2model = load_model("./models/category5_P2.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":8th model loaded. Next 9.")
s6_P2model = load_model("./models/category6_P2.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":9th model loaded. Next 10.")
s7_P2model = load_model("./models/category7_P2.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":10th model loaded. Next 11.")
s5_P3model = load_model("./models/category5_P3.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":11th model loaded. Next 12.")
s6_P3model = load_model("./models/category6_P3.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":12th model loaded. Next 13.")
s7_P3model = load_model("./models/category7_P3.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":13th model loaded. Next 14.")
s5_P4model = load_model("./models/category5_P4.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":14th model loaded. Next 15.")
s6_P4model = load_model("./models/category6_P4.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":15th model loaded. Next 16.")
s7_P4model = load_model("./models/category7_P4.hdf5")
print(time.strftime("%H:%M:%S", time.gmtime(time.time()-start)) + ":16th model loaded. All model are loaded.")

@app.route('/api/judge', methods=['POST'])
def scoring():
    try:
        if request.method == "POST":
            content_type = request.headers["Content-Type"]
            if content_type == None or \
                    not content_type.startswith("application/json") or \
                    "img" not in request.json or \
                    "pattern" not in request.json:
                return make_response(jsonify({'status': 'failure'}), 405)

            base64str = request.json["img"]
            # POSTで渡ってきたbase64文字列は「+」が「 」（スペース）に変換されてしまっているため、元に戻してやってからDecode。
            dec_image = base64.b64decode(base64str.replace(" ", "+"))
            img = Image.open(io.BytesIO(dec_image))
            img = img.convert("RGB")
            img = img.resize((100, 100))
            data = np.asarray(img)
            data = data.astype("float") / 255

            img = data

            pred1 = s1model.predict(np.array([img]))
            pred2 = s2model.predict(np.array([img]))
            pred3 = s3model.predict(np.array([img]))
            pred4 = s4model.predict(np.array([img]))
            pred5 = ""
            pred6 = ""
            pred7 = ""
            pattern = request.json["pattern"]
            if pattern == "P1":
                pred5 = s5_P1model.predict(np.array([img]))
                pred6 = s6_P1model.predict(np.array([img]))
                pred7 = s7_P1model.predict(np.array([img]))
            elif pattern == "P2":
                pred5 = s5_P2model.predict(np.array([img]))
                pred6 = s6_P2model.predict(np.array([img]))
                pred7 = s7_P2model.predict(np.array([img]))
            elif pattern == "P3":
                pred5 = s5_P3model.predict(np.array([img]))
                pred6 = s6_P3model.predict(np.array([img]))
                pred7 = s7_P3model.predict(np.array([img]))
            elif pattern == "P4":
                pred5 = s5_P4model.predict(np.array([img]))
                pred6 = s6_P4model.predict(np.array([img]))
                pred7 = s7_P4model.predict(np.array([img]))

            category = {
                "1": {"category": np.argmax(pred1, axis=1).item(), "pred": pred1.tolist()[0]},
                "2": {"category": np.argmax(pred2, axis=1).item(), "pred": pred2.tolist()[0]},
                "3": {"category": np.argmax(pred3, axis=1).item(), "pred": pred3.tolist()[0]},
                "4": {"category": np.argmax(pred4, axis=1).item(), "pred": pred4.tolist()[0]},
                "5": {"category": np.argmax(pred5, axis=1).item(), "pred": pred5.tolist()[0]},
                "6": {"category": np.argmax(pred6, axis=1).item(), "pred": pred6.tolist()[0]},
                "7": {"category": np.argmax(pred7, axis=1).item(), "pred": pred7.tolist()[0]}
            }

            result = jsonify({
                "status": "OK",
                "category": category
            })

            return make_response(result, 200)
        else:
            return make_response(jsonify({'status': 'failure'}), 405)
    except:
        import traceback
        traceback.print_exc()
        return make_response(jsonify({"status": "failure", "message": "Internal server error"}), 500)


if __name__ == '__main__':
    app.run()

開発環境：ローカル

• Python 3.6.4 :: Anaconda
• Windows 10
• keras 2.1.4
• tensorflow 1.2.1

※ちなみにローカルマシン（SurfacePro4）で上記コードを実行すると読み込み完了までおおよそ7分前後かかります

実行環境：Azure Web Apps

• 拡張機能によりPython 3.6.4をインストール
• その他はAzurePortalから作成したまま

Answer 1

ウェブアプリの初期化に時間がかかりすぎてタイムアウトしているのであれば、以下のように別スレッドを立てて遅延ロードをしてあげれば良い気がします。

from collections import defaultdict
from threading import Thread

from flask import Flask


app = Flask(__name__)
models = defaultdict(lambda: 'Still loading')
keys = ('M1', 'M2', 'M3')


@app.route('/status', methods=['GET'])
def status():
    return '<br/>'.join(key + '=' + models[key] for key in keys)


def loader():
    from time import sleep
    for key in keys:
        sleep(30)
        models[key] = 'Ready'


Thread(target=loader, daemon=True).start()
if __name__ == '__main__':
    app.run()

Comments

[ShikaTech]

頂いたコードで概ね想定通りの実装ができそうです！ありがとうございました！！
ところで１点気になったので教えていただきたく。。
質問を投げた後に自分なりの別解で、モデルのloadを起動時ではなく別立てしたInit用APIに寄せ、モデル数分だけInitを呼んでから本当に叩きたいAPIを叩く形で、一応起動させることは叶っておりました。
このとき、起動時に用意したモデル用の空変数「s1model」に別のAPIから値をセットするためには「global s1model」のおまじないが必要だったわけですが、頂いたコードでは直で「models」を書き換えているように見受けられます。
若葉マーク付け忘れたんですがPython初心者のため、この辺りのカラクリがまだつかめていません。
ご教示いただければ。。
（いわゆる参照型と値型の違いとか？「s1model」は空文字初期化してるから値型で、「models」はdefaultdictで初期化してるから参照型の配列で、参照型配列の中身だから操作可能、、、みたいな？）

[YouheiSakurai]

modelsはloaderの中でmodels[xxx]として参照してるのでglobalが不要なんです。これがもし参照ではなく代入をするのであればglobalをつけたほうが良いですね。

[ShikaTech]

なるほど私の想像通り、参照変数の中身の操作だからOKってことですね。
重ねてご回答ありがとうございました！

[ShikaTech]

締めた後に申し訳ないのですが、頂いたエッセンスを組み込んだコードがどうにも意図した動きになりません。
https://teratail.com/questions/117352
こちら何かアドバイスがあればご教示いただきたく。。

Answer 2

単なる速度不足ではないでしょうか。

コンパイラ系の言語で組み直すほうがいいかと思われます