DjangoでKerasを動作させるとAttributeError

Question

DjangoでKerasを動作させるとAttributeError(詳細は以下のエラー参照)となります。

Djangoではなく、以下のプログラムの最後に２行を追加しPythonコマンド「python ファイル名」で実行するとエラーとならず、正常に動作します。

#最後に追加した二行
testData="0,2,1106,0657,196,196,173,183,0,0,0,0,-26,-26,-41,-34,0,2,1106,0658,183,191,174,187,0,0,0,0,-35,-25,-43,-35,（省略）,0,2,1106,0935,8,24,8,12,0,0,0,0,-3,1,-3,0,0,2,1106,0936,9,26,-37,0,0,0,0,0,1,2,-1,0"
ai_predict(testData)

Djangoは同じユーザから「python manage.py runserver」で起動しているのでPython,keras,tensorflowなどのバージョンに差分はないと考えています。
また、Djangoで「predicted = model.predict(X, verbose=0)」の前にリターンで強制的に終了すると問題は発生しないので予測させているこの１行で問題が発生していると考えています。
（modelのLoadをPredict直前で実施してもエラーは同様でした。）

解決方法がわからないので、ご教授をお願いします。

Traceback (most recent call last):
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/core/handlers/exception.py", line 34, in inner
    response = get_response(request)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/core/handlers/base.py", line 115, in _get_response
    response = self.process_exception_by_middleware(e, request)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/core/handlers/base.py", line 113, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_view
    return view_func(*args, **kwargs)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_view
    return view_func(*args, **kwargs)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/django/views/generic/base.py", line 71, in view
    return self.dispatch(request, *args, **kwargs)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/rest_framework/views.py", line 505, in dispatch
    response = self.handle_exception(exc)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/rest_framework/views.py", line 465, in handle_exception
    self.raise_uncaught_exception(exc)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/rest_framework/views.py", line 476, in raise_uncaught_exception
    raise exc
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/rest_framework/views.py", line 502, in dispatch
    response = handler(request, *args, **kwargs)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/rest_framework/decorators.py", line 50, in handler
    return func(*args, **kwargs)
  File "/home/user1/zeus_cloud/app_zeus/views.py", line 25, in ai_job
    aiJudge = ai_predict(getData)
  File "/home/user1/zeus_cloud/app_zeus/ai_predict.py", line 32, in ai_predict
    predicted = model.predict(X, verbose=0)
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/keras/engine/training.py", line 1452, in predict
    if self._uses_dynamic_learning_phase():
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/keras/engine/training.py", line 382, in _uses_dynamic_learning_phase
    not isinstance(K.learning_phase(), int))
  File "/home/user1/.pyenv/versions/3.6.8/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py", line 73, in symbolic_fn_wrapper
    if _SYMBOLIC_SCOPE.value:
AttributeError: '_thread._local' object has no attribute 'value'

import keras
from keras import backend as K
import numpy as np
import logging

logger = logging.getLogger("file")

savefile = '/home/user1/zeus_cloud/fx_ai.h5'

n = 160
n_classes = 3
# 学習済ファイルを読み込んでmodelを作成
model = keras.models.load_model(savefile)

def ai_predict(getData):
    npData = np.array(getData.split(","), dtype = np.int)
    logger.info('recv num' + str(npData.shape[0]))
    #logger.info(npData.shape[1])
    if npData.shape[0] != n*4*4:
        logger.info('err num' + str(npData.shape[0]))
        return (1)

    X = npData.reshape(1, 1, n, 4*4)

    # 予測結果の取得
    #model = keras.models.load_model(savefile)
    predicted = model.predict(X, verbose=0)
    predicted_label = np.argmax(predicted[0])

    logger.info('aiJudge:' + str(predicted_label))

    return (predicted_label)

Comments

[mistn]

２行を追加し、とありますがどのようなコードを追加して実行しているのでしょうか。

ai_predictの引数であるgetDataにはどのようなデータが入ってくるのでしょうか。
関数に問題がないとすればこのgetDataが怪しいと思うので詳しくお願いします。

[yamayamak]

連絡ありがとうございます。
追加した２行を記載しました。コマンドで実施する場合はデータは手動で設定しています。
念の為、Djangoでもデータを直接記載して実行しましたが、やはりDjangoでは上記エラーが発生します。
Djangoから実行する場合とコマンドでは何か環境が変わるのではないかと考えていますが、よくわかりません。
よろしくお願いします。

[mistn]

追記して頂いたのに申し訳ないのですが少し調べてみたところ原因は別のところにありそうです。
githubにissueが上がっていました。
https://github.com/keras-team/keras/issues/13353

これによるとtensorflow、kerasのバージョンを
tensorflow==1.14
keras==2.2.5
とすることで解決するようです。
一度試してみてくれませんか？

[yamayamak]

pip install keras==1.14
pip install keras==2.2.5
でインストールして
python -c 'import tensorflow as tf; print(tf.__version__)'
python -c 'import keras as kr; print(kr.__version__)'
でバージョンを確認しましたが、コマンドでは動作しDjangoでは動作しませんでした。
ただ、エラー内容は違っていました。
ValueError("Tensor %s is not an element of this graph." % obj)
です。ただ、Warninigが起動時にいくつか発生してしまうので、

また、
https://discuss.streamlit.io/t/attributeerror-thread-local-object-has-no-attribute-value/574/2
も参照し、バージョンもこちらに合わせていて

import keras.backend.tensorflow_backend as tb
tb._SYMBOLIC_SCOPE.value = True

を記載してもNGでした。
現在のバージョンは、django 3.0.1 keras 2.3.1, tensorflow 2.0.0, python 3.6.8 です。

Answer 1

私の環境で状況を再現し、解決できた方法を書いておきます。
python 3.7.3
tensorflow 2.0.0
keras 2.3.1
django 3.0.1

python manage.py runserverで起動する場合にエラーが起きるようです。
gunicornを使ってサーバーを起動した場合はエラーは置きませんでした。
この方法が最小限の労力で解決できる方法だと思います。

python manage.py runserverで起動したい場合はtb._SYMBOLIC_SCOPE.value = Trueをai_predictの関数内に書いてみてください。
エラーは出なくなると思います。

Comments

[yamayamak]

大変ありがとうございます！
ご指摘のgunicornで起動すれば問題はなくなりました。
とりあえずこちらで進めたいと思いますm(_ _)m