tkinterの並列処理

Question

前提・実現したいこと

tkinterにpcカメラの映像を1ミリごとに表示するアプリを作りました。
そこで、映像の表示が途切れることなく、別のループ処理を実行する、という機能を加えたいと思っています。
要点は、root.afterを二つ並列して使いたいです。

発生している問題・エラーメッセージ

メインスレッドで映像処理をroot.afterで1ミリ秒ごとにループしているので、別のループ処理(xfunc)を別スレッドで実行しようとthreadingを使って書いてみたのですが、xfuncを実行している間、メインスレッドの映像処理が止まってしまいます。threadingの使い方が正しいかどうかを教えて頂きたいです。

該当のソースコード

import tkinter as tk
import cv2
from PIL import Image
from PIL import ImageTk
import sys
import threading
import time
wi=600
he=400
root=tk.Tk()
root.geometry("600x400")
canvas=tk.Canvas(root, width=wi, height=he)
canvas.place(x=0,y=0)

def capStart():#カメラのキャプチャー処理
    global c, w, h, img
    c=cv2.VideoCapture(0)
    c.set(cv2.CAP_PROP_FRAME_WIDTH, wi) 
    c.set(cv2.CAP_PROP_FRAME_HEIGHT, he)
    w, h= c.get(cv2.CAP_PROP_FRAME_WIDTH), c.get(cv2.CAP_PROP_FRAME_HEIGHT)

def update():#キャプチャー映像をtkinterに表示する（処理を止めたくない）
    global img
    ret, frame =c.read()
    if ret:
        img=ImageTk.PhotoImage(Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))
        canvas.create_image(wi*0.5,he*0.5,image=img)  
    else:
        print("Fail")
    root.after(1,update)

def xfunc():#時間のかかるループ処理。updata()を止めずにこの処理を並列して行いたい。
    for i in range(10000000):
        con=i
    print(con)
    root.after(1000,th1)
　　#root.after(1000,xfunc) #こちらもダメでした
        
def subthreadRun():
    thread_1 = threading.Thread(target=xfunc)
    thread_1.setDaemon(True)
    thread_1.start()

capStart()
update()
subthreadRun()
root.mainloop()

試したこと

concurrent.futuresを使っても駄目でした。

補足情報（FW/ツールのバージョンなど）

windows10
python3.7
tkinter8.7

Answer 1

少し状況を整理して、回答はこれだけでも良いのかな。
update()関数のパフォーマンス面の問題は別として、要点についてのみ。

def xfunc():#時間のかかるループ処理。updata()を止めずにこの処理を並列して行いたい。
    for i in range(10000000):
        con=i
    print(con)
    root.after(1000,th1)
　　#root.after(1000,xfunc) #こちらもダメでした

問題点: root.after で実行される関数は、メインスレッドでtkinterにより実行される。
別スレッドで実行されるのは一回目のみになってます。

解決策: 別スレッドであれば 1秒待つために time.sleep が使えます

def xfunc():
    import time
    while True:
        for i in range(10000000):
            con=i
        print(con)
        time.sleep(1)

Answer 2

映像処理をroot.afterで1ミリ秒ごとにループしているので

映像の更新であれば、FPS を見積もって適切な値を設定してください。
1ms -> 1000fps なので、大抵 60fps (16ms) 辺りで十分なはずです。

xfuncを実行している間、メインスレッドの映像処理が止まってしまいます。

原因は主に、

• 更新の間隔が早すぎる → 1ms ごとにループ
• メインループで時間の掛かる処理を行ってる為

対策として、更新間隔を緩める他に
前処理迄は極力サブスレッド側で行います。具体的には

• Tk側(main thread)で行う処理: ImageTk.PhotoImage
• sub thread 側で行う処理: Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))

サブスレッドからtkinter(メインスレッド)への通知手段は幾つか有り

• キューを使う方法1:

　メインスレッド側で root.after を使い queue から読み出す

• サブスレッド側から event_generate でイベント通知。queueから読みだす。
• サブスレッド側から root.after_idle で通知・メインスレッドで実行

---

時間のかかるループ処理。updata()を止めずにこの処理を並列して行いたい。

• update 自体も処理の一部を、サブスレッドにした方が良いです。
• root.after(1000,th1) の th1 が何か解りませんでしたが、

　root.after で指定実行される関数は、main thread で実行されます。
なので、時間の掛かる処理は mainloop をブロックすることになり、
GUIの応答なしに繋がります。

---

※ 回答のコードではありません。
logging のサンプルと、スレッド内でのroot.afterの利用についての指摘。

#!/usr/bin/env python3.8

import tkinter as tk
from threading import Thread
import logging

# POINT: 2回目以降の xfunc は MainThread で実行されるのが確認できると思います

def xfunc(root):
    logging.info("xfunc")
    root.after(1000, xfunc, root)

def xfunc2(root): # 別スレッドでの実行なら、1秒待つのには time.sleep が使えます
    import time
    while True:
        logging.info("xfunc2")
        time.sleep(1)

def main():
    root = tk.Tk()
    button = tk.Button(root, text="Quit", command=root.quit)
    button.pack()

    thread = Thread(target=xfunc, args=(root,), daemon=True)
    thread.start()

    root.mainloop()

if __name__ == "__main__":
    logging.basicConfig(
        level=logging.DEBUG,
        format="[%(threadName)-10s] %(message)s")

    main()

---

デバッグのポイント、

• ログを取る事で、関数がどのスレッドで実行されているかを把握しやすくします。
• 止まってしまうのは、tkinter のイベントループが止まるのが原因です。

　root.after で実行される関数、bind で登録した関数などは全て
root.mainloop 内で実行されます。mainloop でGUIの描画やイベント処理をしているので、
これらの関数では、処理をすぐ終わり mainloop に制御を返さなければなりません。
ログを取ってみて、メインスレッドで時間の掛かる処理をしていないか調べて見ましょう。

---

追記
丁度最近、cv2.VideoCapture/tkinter での動作確認のために書いたコードがあったので、
解説等は出来ませんが、参考になればと思い張っておきます。
https://repl.it/@MiKLTea/tkVideoCanvas#main.py

• update() 関数を、サブスレッド側(cv2) とメインスレッド(tkinter)に分離する場合の参考になると思います。
• プログラムの終了時にエラーが出る場合は、状況次第ですが、

　リソースの解放順序を明示的にする必要があります。

Comments

[t_n_k]

丁寧なご説明ありがとうございます。
update関数をupdate(画像をキャンバスに表示する処理、メインスレッドで実行)と、subupdate(カメラの映像から画像を保存、サブスレッドで実行）に分け、キューを使ってデータ間のやりとりもうまくいきました。
ただ、別のサブスレッドで時間のかかる処理(xfunc)を実行すると、その処理をしている間だけ、一瞬カメラの映像が止まってしまう、という問題は解決できませんでした。
そこで、スレッドを分化して処理しているかを確認するため、各関数にthreading.current_thread()をプリントし、どの関数でどのスレッドを使用しているかを確認したところ、updateは"MainThread"、subupdateは"Thread-6"、xfuncは"Thread-7"のように表示されたので、スレッドの並列処理もうまくいっているようなのですが。。。
メインスレッドを一瞬たりとも止めずに（カメラ映像を一瞬も止めたくない）、他の処理をサブスレッドで実行する、というのはそもそも可能でしょうか？

[teamikl]

＞メインスレッドを一瞬たりとも止めずに（カメラ映像を一瞬も止めたくない）

ここの要点は、mainloopの実行を妨げない事で実現可能です。
気を付けるべき点
- 処理時間待ちをするブロッキング操作（I/O や time.sleep 等)
- 時間の掛かるループ

等は、mainloop を実行してるスレッドでは行わないようにします。

＞他の処理をサブスレッドで実行する、というのはそもそも可能でしょうか？

処理内容の規模次第です。

Pythonのスレッドは単一コアで実行されるので、
処理能力を超えるタスクは実行できません。
もし、過剰な量の処理がある場合、mainloopに影響がある等は考えられます。

→解決策はマルチプロセスを検討
→ もしくは、その処理の最適化

====
確認点:
- fps の調整はされたでしょうか (更新間隔を fps に合わせて緩和)
- xfunc 実行の度にスレッドが作成されるのですか？
　それとも他にもスレッドがあり Thread-7 になっているのか。
　もし、毎回スレッドを作成してるようであれば改善の余地あり。
- xfunc の処理内容を、簡単ですぐ終わるものにすると改善しますか？
- リソースモニター等で CPU を確認。単純に処理が追い付いてない場合
　(Pythonの)スレッドでは CPU bounce な処理の高速化は出来ない為、
　「マルチプロセス」を検討することになります。

※ マルチプロセスの場合、別プロセスとのデータのやり取りの仕方は変わってきます。
キュー等もマルチプロセス用のモノを使う。
画像データ（numpy の配列）は、python側の公式リファレンスに、
共有メモリを用いたデータ受け渡しの例有り。

追記: 状況次第ですが、全てをマルチプロセス化する必要もないので、
まずは原因を特定してからでよいと思います。

[teamikl]

＞threading.current_thread()をプリントし、どの関数でどのスレッドを使用しているかを確認したところ

利用サンプルとして、回答に書いたコードで使ってますが、
スレッドの確認は、loggingモジュールの利用がお勧めです。
デフォルトでスレッドセーフ。

マルチプロセスの場合は、
マルチプロセス対応の準備が必要ですが、
安全なログの枠組みは用意されてます。

[teamikl]

確認点をもうひとつ

＞別のサブスレッドで時間のかかる処理(xfunc)を実行すると、その処理をしている間だけ、一瞬カメラの映像が止まってしまう、

xfunc 内では tkinter のリソースへアクセスせずに、
完全に独立してますか？

tkinter 内部でも
tkinter(python側) -> tcl/tk のライブラリ とのやり取りをしてます。
tkinter へのアクセスがある場合は、
mainloop の遅延に影響する可能性があります。