kerasでの推論とスレッド処理の組合せについて

Question

前提・実現したいこと

kerasで画像分類を行っています。Tkinterのボタンを押すと推論が実行され、スコアが表示される
プログラムは作れましたが、最終的には外部信号を元に推論を実行したいです。
そのためThread処理でInput信号を検知し、推論させるプログラムに変更したところ下記エラー
が発生しました。（Input信号はget_signalに置換えています。）

対処法、回避方法についてお教え頂きたいためよろしくお願い致します。

発生している問題・エラーメッセージ

Exception in thread Thread-6:
Traceback (most recent call last):
  File "C:\Users\tg30214.conda\envs\DL\lib\threading.py", line 916, in _bootstrap_inner
    self.run()
  File "C:\Users\tg30214.conda\envs\DL\lib\threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "<ipython-input-1-a528fff6931d>", line 31, in get_signal
    check()
  File "<ipython-input-1-a528fff6931d>", line 42, in check
    pred = model.predict(img)[0][0]
  File "C:\Users\tg30214.conda\envs\DL\lib\site-packages\keras\engine\training.py", line 1452, in predict
    if self._uses_dynamic_learning_phase():
  File "C:\Users\tg30214.conda\envs\DL\lib\site-packages\keras\engine\training.py", line 382, in _uses_dynamic_learning_phase
    not isinstance(K.learning_phase(), int))
  File "C:\Users\tg30214.conda\envs\DL\lib\site-packages\keras\backend\tensorflow_backend.py", line 73, in symbolic_fn_wrapper
    if _SYMBOLIC_SCOPE.value:
AttributeError: '_thread._local' object has no attribute 'value'

該当のソースコード

import tkinter as tk
import cv2
import os.path
import cv2
from PIL import Image
import csv
import datetime
import sys
import numpy as np
import glob
import datetime
import pathlib
import threading

from keras import backend as K
import tensorflow as tf
from keras.preprocessing import image
from keras.preprocessing.image import array_to_img
from keras.models import load_model

root = tk.Tk()
root.title(u"Software Title")
root.geometry("400x300")

def get_signal(test):
        a = test
        while True:
            a = a+1   
            if a == 10000:
                check()
                
            elif a > 10000:
                a=0

def check():
    image_path = r"C:\Users\tg30214\Desktop\NG0000.bmp"
    img = cv2.imread(image_path)
    img = np.expand_dims(img, axis=0)
    img = img.astype("float32")
    img = img/255.0
    pred = model.predict(img)[0][0]
    print(pred)

Frame = tk.Frame(root)
Frame.place(x=0.0, y=0.0, height=300, width=400)
button1 = tk.Button(Frame,text="test", command=check)
button1.place(x=0, rely=0, height=300 , width=400)

model_path = r"C:\Users\tg30214\Desktop\20200707_finetuning_final.h5"
model = load_model(model_path)

t1=threading.Thread(target=get_signal, args=(0,))
t1.start()

root.mainloop()

補足情報（FW/ツールのバージョンなど）

Windows 10 Pro, Python 3.7, keras 2.3.1, tensorflow 2.0.0

Comments

[teamikl]

Tkinterの影響はないように思います。まずは、問題点を切り分けましょう
root.mainloop() → t1.join() として、tkinterのコードは全て排除して問題は再現できますか？

類似問題としては、tensorflow のバージョン問題という報告を見ました。（自分では試してません）

[blacktt_red]

ご質問事項について回答致します。
Tkinterの部分を除外して検討してみた結果、同一のエラーが発生致しました。
```root.mainloop() → t1.join() ```
Tkinterのコード除外

そのためTkinterの影響でないことは確認できました。
バージョン問題については別途確認してみます。

[teamikl]

実際に試してませんが、幾つか解決の足掛かりになりそうな点

* karas のバージョンをダウングレードもしくは最新版(開発版?)にしてみる。
「AttributeError: '_thread._local' object has no attribute 'value'」で検索すると幾つか情報が見つかりました。
具体的なバージョンは報告により異なるので、
tensorflowのバージョン、karas のバージョン双方の確認が必要かもしれません（未確認）

https://github.com/keras-team/keras/issues/13353 (※報告対象のft は 1.3)
https://stackoverflow.com/questions/58015489/flask-and-keras-model-error-thread-local-object-has-no-attribute-value

※ バージョンあげたがダメだった報告もあります。
※ コード側での対策出来た報告も有ですが、同時に利用するフレームワーク側の設定などなので、
状況に合わないかもしれません。

* 単体で実行した場合問題ないようなら、スレッドではなくマルチプロセスにする。
（別プロセスからtkinterは直接操作できないので、何らかのプロセス間通信は必要になります）

----
エラーが出ている問題とは関係なしに、model はメインスレッドから渡すのではなく
get_signal 側で初期化した方が良いです。
スレッドやプロセスを跨いでのアクセスは問題になる事が多いので。

Answer 1

メインスレッドから各関数へmodelを受け渡すようにします。

下記、先頭が「-」となっている各行を「+」行のように変えてください。

-def get_signal(test):
+def get_signal(test, model):
        a = test
        while True:
            a = a+1   
            if a == 10000:
-               check()
+               check(model)
            elif a > 10000:
                a=0

-def check():
+def check(model):
# 後略

# 前略
model = load_model(model_path)

- t1=threading.Thread(target=get_signal, args=(0,))
+ t1=threading.Thread(target=get_signal, args=(0, model))

Comments

[blacktt_red]

回答頂きありがとうございます。ご指摘に沿ってコードを下記内容に変更
してみたのですが、同一のエラーが発生しております。
コード内容に問題ありませんでしょうか。

###コード内容

```
root = tk.Tk()
root.title(u"Software Title")
root.geometry("400x300")

def get_signal(test,m):
a = test
while True:
a = a+1
if a == 10000:
check(m)
a =0

def check(m):
image_path = r"C:\Users\tg30214\Desktop\NG0000.bmp"
img = cv2.imread(image_path)
img = np.expand_dims(img, axis=0)
img = img.astype("float32")
img = img/255.0
pred = m.predict(img)[0][0]
print(pred)

Frame = tk.Frame(root)
Frame.place(x=0.0, y=0.0, height=300, width=400)
button1 = tk.Button(Frame,text="test", command=check)
button1.place(x=0, rely=0, height=300 , width=400)

model_path = r"C:\Users\tg30214\Desktop\20200707_finetuning_final.h5"
model = load_model(model_path)

t1=threading.Thread(target=get_signal, args=(0,model))
t1.start()

root.mainloop()

```