撮影ウィンドウが閉じれず処理が終わらない

Question

前提・実現したいこと

撮影した画像の顔認識を実行するphoto.pyを起動させるGUIを開発しています。

# GUI_test.py
import PySimpleGUI as sg

# ウィンドウに配置するコンポーネント
layout = [  [sg.Text('撮影しますか？')],
            [sg.Button('OK'), sg.Button('キャンセル')] ]

# ウィンドウの生成
window = sg.Window('サンプルプログラム', layout)

# イベントループ
while True:
    event, values = window.read()
    if event == sg.WIN_CLOSED or event == 'キャンセル':
        break
    elif event == 'OK':
        window.close()
        import photo
        print("撮影完了")

window.close()

# photo.py
import cv2
import os
import matplotlib.pyplot as plt

def save_frame_camera_key(device_num, dir_path, basename, ext='jpg', delay=1, window_name='frame'):
    cap = cv2.VideoCapture(device_num)

    if not cap.isOpened():
        return

    os.makedirs(dir_path, exist_ok=True)

    # cで撮影、qで認識して終了
    n = 0
    while True:
        ret, frame = cap.read()
        cv2.imshow(window_name, frame)
        key = cv2.waitKey(delay) & 0xFF
        if key == ord('c'):
            cv2.imwrite("face.jpg", frame)
            n += 1
        elif key == ord('q'):
            # カスケードファイルを使って認識器を作成
            cascade_file = "haarcascade_frontalface_alt.xml"
            cascade = cv2.CascadeClassifier(cascade_file)

            # 画像を読み込みグレイスケールに変換
            img = cv2.imread("face.jpg")
            gray_cv = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)

            # 顔認識
            face_list = cascade.detectMultiScale(gray_cv, minSize=(150, 150))
            # 認識失敗時の処理
            if len(face_list) == 0:
                print("失敗")
                continue

            # 認識した顔の座標、位置を視覚化
            for (x, y, w, h) in face_list:
                print("顔の座標(x,y,w,h):", x, y, w, h)
                red = (0, 0, 255)
                cv2.rectangle(img, (x, y), (x + w, y + h), red, thickness=20)

            # 顔認識した画像を表示
            cv2.imwrite("face-recognition.jpg", img)
            plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
            plt.show()
            break

    cv2.destroyWindow(window_name)

save_frame_camera_key(0, 'data/temp', 'camera_capture')

発生している問題

photo.py単体では問題なくプログラムが終了しましたが、GUIから起動すると撮影ウィンドウが残り処理が終了しませんでした。
アドバイスを頂けると幸いです。よろしくお願いします。

試したこと

photo.pyの「cv2.destroyWindow(window_name)」を「cv2.destroyAllWindows()」と変更してみましたが、変化はありませんでした。
また、手動での操作を試したところウィンドウは閉じましたが、処理は終わらないままでした。

補足情報

OS:Windows10
Pythonのバージョン:Python3.8.5
開発環境:PyCharm Community Edition 2020.2.4 x64

Answer 1

問題点: イベントループの競合
cv2.waitKey で PySimpleGUI のイベントループが止まってしまいます。

• photo.py の while True: ループを抜ける条件は、'q' キーが入力された時
• GUI_test.py の while True: ループの終了条件は、キャンセルボタンかウィンドウが閉じられた時。

ですが、単一スレッド上で動作してるため、
photo.py 側のループ中は GUI_test.py のイベントは処理されませんし、
GUI_test.py の event.read() でキー入力を補足しても、photo.py 側の waitkey には影響しません。

pyplot と PySimpleGUI のバックエンドが tkinter だった場合も、
tkinter の初期化処理が競合してしまうので、この場合は「別プロセス」にしたほうが良いです。

解決策:
キー入力等は PySimpleGUI 側に任せて、外部プロセスのカメラを操作する。
「プロセス間通信」などの知識が必要になってきます。

※ 別プロセスにしたくない場合は、画像表示に pyplot を使わずに
PySimpleGUI 側で行う方法を検討してください。pyplot を省ければ、
「プロセス」の代わりに「スレッド」を使う選択肢もあります。

「cv2.destroyWindow(window_name)」を「cv2.destroyAllWindows()」と変更してみましたが、変化はありませんでした。

cv2 の管理するウィンドウとPySimpleGUI のウィンドウは別です。

追記:
GUI は、撮影するかどうかの確認のみですが
他に GUI に機能を追加する予定はありますか？

なければ、プログラムの構造をシンプルにする方法も考えられます。
GUI_test.py の処理を、OK ボタンを押した時 True を返す関数として実装することで

if 撮影しますか? : # <-- ここで PySimpleGUI の利用は完全に終わる (while True: ループは抜ける)
    撮影処理 # photo.py cv2/pyplot を使う

イベントループを分離できるので、終了できない問題を解消できるはずです。

---

他の問題点、質問には直接関係ない部分ですが、Pythonのモジュールについて

import photo だけでは、モジュールがキャッシュされてる場合
コードが実行されない場合があります。

# photo.py 側の変更

if __name__ == "__main__":
    save_frame_camera_key(0, 'data/temp', 'camera_capture')

# GUI_test.py 側の変更 (適切なインデントで)

import photo
photo.save_frame_camera_key(0, 'data/temp', 'camera_capture')

Comments

[_N_M_]

返信が遅くなり申し訳ありません。
この度はご回答いただきありがとうございました。
提示して頂いた解決策の通りキー入力をGUI側で実行するようにしたところ、無事に問題を解決することができました。