Tkinterのウィンドウに画像認識の結果を渡したいが、フリーズしてしまう

Question

ウィンドウのフリーズ
現在画像認識のプログラムを作成しており、認識自体はできるようになりました。
実行の結果をTkinterで文字として表示しようと思ったのですが、動作が固まってしまいます。
Tkinterのウィンドウを消せばまた認識をしてくれるのですが、止まることなく実行するにはどうすればいいでしょうか。
解決策を教えていただけると嬉しいです。

画像認識について
認識は、あらかじめ作成したデータを読み込んで使用しています。
写真はcv2で撮影したリアルタイム映像から、静止画として同じ階層に一時的に保存し、
PILで読み込んでいます。

環境
python 3.6.1
opencv-contrib-python 4.2.0.32
opencv-python 4.2.0.32
pillow 4.1.1
scikit-learn 0.18.1

コードです↓

import cv2
import os
import datetime
import pickle
from PIL import Image
from sklearn import svm
import numpy as np
import tkinter as tk 
from tkinter import font

# ウィンドウ表示の定義
def print_text(result):
    root = tk.Tk()#ウィンドウを作る

    root.title("ティッシュ認識システム") #タイトルの変更
    root.geometry("300x100") #サイズの指定

    font1 = font.Font(family='Helvetica', size=20, weight='bold') #フォントを設定

    text = tk.StringVar()#textをStringVar関数にする
    
    if result ==1:
        text.set("これはティッシュです")
    
    else:
        text.set("これは床です")
    
    label = tk.Label(textvariable = text, font = font1) #ラベルを追加
    label.pack()

    root.mainloop() #実行して表示
   

# 画像認識の学習データを読み込む
filename = 'tissue_model_1.sav'
clf = pickle.load(open(filename, 'rb'))

# 変数の定義
size = 16
    
# 認識システムを関数で定義
def save_frame_camera_cycle(device_num, dir_path, basename, cycle, ext='JPG', delay=1, window_name='frame'):
    cap = cv2.VideoCapture(1)# カメラは１（usbカメラ）を用いる
    
    if not cap.isOpened():#カメラが見つからなかった場合
        return#中止する　

    os.makedirs(dir_path, exist_ok=True)
    base_path = os.path.join(dir_path, basename)

    n = 0
    while True: #Trueでずっとループさせる
        ret, frame = cap.read()
        cv2.imshow(window_name, frame)
        if cv2.waitKey(delay) & 0xFF == ord('q'):# qが押されたら終了する
            break
        if n == cycle:#cycleとnが同じ数になったら写真を保存する
            
            cv2.imwrite('{}_{}.{}'.format(base_path, datetime.datetime.now().strftime('%Y%m%d%H%M%S%f'), ext), frame)#画像を保存(学習用に保存）
            cv2.imwrite('picture.' + ext, frame)#認識用の画像を保存
            img = Image.open('picture.JPG')#画像を開く
            img = img.resize((size,size))#リサイズ
            ary = np.array(img).reshape(-1,)#一次元の配列にする
            result = clf.predict(ary)#認識
            print(result)#結果を表示
            
            print_text(result = result)
            
            n = 0
        n += 1

    cv2.destroyWindow(window_name)

#関数を実行
save_frame_camera_cycle(0, 'camera_data', 'camera_capture_cycle', 15)

アドバイスを受け、マルチスレッドで実行するようにプログラムを変更しました。

import cv2
import os
import datetime
from sklearn import svm
import pickle
from PIL import Image
import numpy as np
import tkinter as tk 
from tkinter import font
import threading

# ウィンドウ表示の定義
def print_text():
    root = tk.Tk()#ウィンドウを作る

    root.title("ティッシュ認識システム") #タイトルの変更
    root.geometry("300x100") #サイズの指定

    font1 = font.Font(family='Helvetica', size=20, weight='bold') #フォントを設定

    text = tk.StringVar()#textをStringVar関数にする
    
    if result ==1:
        text.set("これはティッシュです")
    
    else:
        text.set("これは床です")
    
    label = tk.Label(textvariable = text, font = font1) #ラベルを追加
    label.pack()

    root.mainloop() #実行して表示
    print("a")

# 画像認識の学習データを読み込む
filename = 'tissue_model_1.sav'
clf = pickle.load(open(filename, 'rb'))

# 変数の定義
size = 16
    
# 認識システムを関数で定義
def save_frame_camera_cycle(device_num, dir_path, basename, cycle, ext='JPG', delay=1, window_name='frame'):
    cap = cv2.VideoCapture(1)# カメラは１（usbカメラ）を用いる
    
    if not cap.isOpened():#カメラが見つからなかった場合
        return#中止する　

    os.makedirs(dir_path, exist_ok=True)
    base_path = os.path.join(dir_path, basename)

    n = 0
    while True: #Trueでずっとループさせる
        ret, frame = cap.read()
        cv2.imshow(window_name, frame)
        if cv2.waitKey(delay) & 0xFF == ord('q'):# qが押されたら終了する
            break
        if n == cycle:#cycleとnが同じ数になったら写真を保存する
            
            cv2.imwrite('{}_{}.{}'.format(base_path, datetime.datetime.now().strftime('%Y%m%d%H%M%S%f'), ext), frame)#画像を保存
            cv2.imwrite('picture.' + ext, frame)#画像を1時的に保存
            img = Image.open('picture.JPG')#画像を開く
            img = img.resize((size,size))#リサイズ
            ary = np.array(img).reshape(-1,)#一次元の配列にする
            global result
            result = clf.predict(ary)#認識
            print(result)#結果を表示
            
            print_text(result = result)
            
            n = 0
        n += 1

    cv2.destroyWindow(window_name)

#関数を実行
t1 = threading.Thread(target = save_frame_camera_cycle, args = (0, 'camera_data', 'camera_capture_cycle', 15))
t2 = threading.Thread(target = print_text,)
t2.start()
t1.start()

しかし、

Exception in thread Thread-12:
Traceback (most recent call last):
  File "C:\Users\ユーザー名\Anaconda3\lib\threading.py", line 916, in _bootstrap_inner
    self.run()
  File "C:\Users\ユーザー名\Anaconda3\lib\threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "<ipython-input-8-c90b360b3e2d>", line 19, in print_text
    font1 = font.Font(family='Helvetica', size=20, weight='bold') #フォントを設定
  File "C:\Users\ユーザー名\Anaconda3\lib\tkinter\font.py", line 93, in __init__
    tk.call("font", "create", self.name, *font)
RuntimeError: main thread is not in main loop

C:\Users\ユーザー名\Anaconda3\lib\site-packages\sklearn\utils\validation.py:395: DeprecationWarning: Passing 1d arrays as data is deprecated in 0.17 and will raise ValueError in 0.19. Reshape your data either using X.reshape(-1, 1) if your data has a single feature or X.reshape(1, -1) if it contains a single sample.
  DeprecationWarning)
Exception in thread Thread-11:
Traceback (most recent call last):
  File "C:\Users\ユーザー名\Anaconda3\lib\threading.py", line 916, in _bootstrap_inner
    self.run()
  File "C:\Users\ユーザー名\Anaconda3\lib\threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "<ipython-input-8-c90b360b3e2d>", line 69, in save_frame_camera_cycle
    print_text(result = result)
TypeError: print_text() got an unexpected keyword argument 'result'

と、結果となるresultをTkinterウィンドウの関数が受け取ることができませんでした。
変数を共有するには、どうしたらよいでしょうか？

Comments

[t_obara]

GUIプログラムでは基本的にUIの反応をmainloopで行なっているためmainloop以外のループを使用してはいけません。その場合には、マルチスレッド、マルチプロセス、タイマーなどを利用する必要があります。

[falcon_titan]

分かりました。マルチスレッドを利用してみます。アドバイスありがとうございます。

[falcon_titan]

https://python.civic-apps.com/threading/
を参考に、threadingを用いてマルチスレッドにしてみたのですがうまくいきませんでした。
変数を共有させるには、どうしたらよいでしょうか？

Answer 1

TypeError: print_text() got an unexpected keyword argument 'result'

t2 のスレッドとは別に、t1 スレッドの
save_frame_camera_cycle関数内から print_text(result = result)
のように呼び出されていますが、
関数print_text()は引数を取るように設計されていません。

RuntimeError: main thread is not in main loop

これは、全く同じエラーは再現できなかったのですが
tkinterのウィンドウを閉じた後のものではないでしょうか？

ウィンドウを閉じられた後に、別スレッドからtkinterを操作しようとして
実行時エラーになっているものだと思われます。
（エラーの行自体の問題ではなく、終了時のタイミング次第）

改善案:

- tkinterは普通にメインスレッドで実行するようにします。
- save_frame_camera_cycleのスレッドをデーモン化する(daemon=True)
  - これにより、tkinterのウィンドウが閉じられた時(メインスレッドが終了した時）
    サブスレッドも一緒に終了するようになるため、
    サブスレッドが終了後のtkinterにアクセスすることを(ある程度)防げます。

---

スレッド→Tkinterへの値の受け渡しに関して、

スレッド内から別スレッドで作った GUI の描画を直接行うのは
スレッドセーフな操作ではないので、
GUIライブラリが用意しているキューを経由して行います。
tkinterの場合はroot.after()を使います。

スレッドで演算した結果をtkinterに表示するデモ

import time
import threading
import tkinter as tk

# ウィンドウ表示の定義
def create_result_viewer():
    root = tk.Tk()
    label = tk.Label(root)
    label.pack()
    return root, label

# 認識システムを関数で定義
def save_frame_camera_cycle(cycle, updateResult, dummyResultList):
    while True:
        for _ in range(cycle):
            time.sleep(1)
        else:
            updateResult(next(dummyResultList))

if __name__ == '__main__':
    # resultをシミュレートするダミーの結果リスト
    import itertools
    dummyResultList = itertools.cycle([1, 0, 1, 1, 0, 0, 0, 1])

    root, label = create_result_viewer()

    def showResult(result):
        if result == 1:
            label["text"] = "これはティッシュです"
        else:
            label["text"] = "これは床です"

    def updateResult(result):
        root.after(100, lambda: showResult(result))

    # NOTE: この小さなサンプルプログラムでは、updateResult の代わりに showResult を引数に渡しても動作しますが、
    # 複雑になってくると破綻するので、root.after 経由で実行するほうが安全。(スレッドセーフ)
    t1 = threading.Thread(target=save_frame_camera_cycle, args=(5, updateResult, dummyResultList), daemon=True)
    t1.start()
    root.mainloop()

---

課題: cv2.imshow, cv2.waitKey はスレッド内では期待通りに動作しません
cv2.imshow でウィンドウが表示されますがフリーズ状態になります。
(上記サンプルコードからは意図的に省きました)

cv2.imshowとtkinterを同時に使う場合は、
双方をメインスレッドで動かすことになるので、
プロセスを別ける（マルチプロセス）事になると思います。

マルチスレッドで行う場合、tkinterを用いてるので、
imshowの代わりにtkitnerのキャンバスに描画するのが良いでしょう。

cv2.waitKey の入力待ちは、tkinterでキー入力を受けてキューに入れ、
スレッド側で非同期で読み出すことで実現できます。

以下の質問の回答で、tkinter+opencvでの
マルチプロセスやマルチスレッドでのキューを用いた例がありました。

関連

• opencvで異常検知すると、Tkinterにて警告を出したい

マルチプロセスでキューを使って通信

• Tkinterのウインドウ内にwebカメラから取得した動画を表示したい
• tkinterでRunTimeErrorを出ないようにしたい
• Tkinterで別スレッドの終了方法 キューを使って通知