【Python】【Tkinter】顔認証してその人の名前を表示するGUIを作成したい

Question

前提、発生している問題

Tkinterを使用してPythonでデスクトップアプリを開発しています。
現在、Tkinter上でUSBカメラで撮影している画面を表示するところまで完成しています。
しかし、OpenCVを使用した画像処理のコードとうまく組合わせることができず悩んでいます。

OS:Windows 10
Pythonバージョン:3.5.4(64bit)
開発環境：Pycharm

実現したいこと

下記コードに示したfr.pyの26~50行目の内容をsample.pyと統合したい。
結果的には、カメラ撮影画面の左下に名前が表示される。

該当のソースコード１(sample.py)

import tkinter as tk

from PIL import Image, ImageTk, ImageDraw, ImageFont
import cv2
import numpy as np

root = tk.Tk()
root.title('sample')
root.geometry('1000x400+150+10')

f1 = tk.LabelFrame(root, bd=2, relief="ridge", text="camera")
f1.pack(side='top', anchor='w', padx=20)

camera = tk.Canvas(f1, width=600, height=400, bg="white")
camera.pack(side='left')


def capture():
    try:
        global c, w, h
        c = cv2.VideoCapture(0)
        w = c.get(cv2.CAP_PROP_FRAME_WIDTH)
        h = c.get(cv2.CAP_PROP_FRAME_HEIGHT)
        pass
    except:
        import sys
        c.release()
        cv2.destroyAllWindows()


def up():
    global img
    ret, frame = c.read()
    if ret:
        img = ImageTk.PhotoImage(Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))
        camera.create_image(w / 2, h / 2, image=img)
    root.after(1, up)


capture()
up()

root.mainloop()

該当のソースコード２(fr.py)

from face_recognition import *
from predict import *
from create_dataset import *

import cv2
from PIL import Image, ImageDraw, ImageFont
import numpy as np

model_path = '../models/20180402-114759'
pic_path = "../dataset/images"
dataset_path = '../dataset/emb/faceEmbedding.npy'
filename = '../dataset/emb/name.txt'
reload = False
face_recognition_threshold = 0.85

print("initializing models...")
face_detect = Facedetection()
face_net = facenetEmbedding(model_path)
if reload:
    print("refreshing face embeddings...")
    create_face_embedding(model_path, pic_path, dataset_path, filename)
print("loading embeddings...")
dataset_emb, names_list = load_dataset(dataset_path, filename)


def put_text_japanese(img, text, pos):
    img_PIL = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    font_size = 25
    font = ImageFont.truetype('meiryo', font_size, encoding="utf-8")
    fillColor = (255, 0, 0)  # 青(0, 0, 255)
    draw = ImageDraw.Draw(img_PIL)
    draw.text((pos[0], pos[1] - font_size - 10), text, font=font, fill=fillColor)
    img = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)
    return img


cap = cv2.VideoCapture(0)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    result = face_recognition_image_driver(dataset_emb, names_list, face_detect, face_net, frame,
                                           face_recognition_threshold)
    # cv2.putText(frame, result, (0,int(height)-10), 0, 1, (0, 0, 255), 2)
    frame = put_text_japanese(frame, result, (0, int(height)))
    cv2.imshow("Frame", frame)
    # if the `q` key was pressed, break from the loop
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

ご回答よろしくお願いいたします。

###以下、再編集

##該当のソースコード３（sample.py（統合後））

import tkinter as tk

from PIL import Image, ImageTk, ImageDraw, ImageFont
import cv2
import numpy as np

from face_recognition import *
from predict import *
from create_dataset import *

root = tk.Tk()
root.title('sample')
root.geometry('1000x400+150+10')

f1 = tk.LabelFrame(root, bd=2, relief="ridge", text="camera")
f1.pack(side='top', anchor='w', padx=20)

camera = tk.Canvas(f1, width=600, height=400, bg="white")
camera.pack(side='left')

model_path = '../models/20180402-114759'
pic_path = "../dataset/images"
dataset_path = '../dataset/emb/faceEmbedding.npy'
filename = '../dataset/emb/name.txt'
reload = False
face_recognition_threshold = 0.85

print("initializing models...")
face_detect = Facedetection()
face_net = facenetEmbedding(model_path)
if reload:
    print("refreshing face embeddings...")
    create_face_embedding(model_path, pic_path, dataset_path, filename)
print("loading embeddings...")
dataset_emb, names_list = load_dataset(dataset_path, filename)


def capture():
    try:
        global c, w, h
        c = cv2.VideoCapture(0)
        w = c.get(cv2.CAP_PROP_FRAME_WIDTH)
        h = c.get(cv2.CAP_PROP_FRAME_HEIGHT)
        pass
    except:
        import sys
        c.release()
        cv2.destroyAllWindows()


def up():
    global img
    ret, frame = c.read()
    if ret:
        result = face_recognition_image_driver(dataset_emb, names_list, face_detect, face_net, frame,
                                              face_recognition_threshold)

        def put_text_japanese(img, text, pos):
            img_PIL = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
            font_size = 25
            font = ImageFont.truetype('meiryo', font_size, encoding="utf-8")
            fillColor = (255, 0, 0)  # 青(0, 0, 255)
            draw = ImageDraw.Draw(img_PIL)
            draw.text((pos[0], pos[1] - font_size - 10), text, font=font, fill=fillColor)
            img = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)
            return img

        frame = put_text_japanese(frame, result, (0, int(h)))

        img = ImageTk.PhotoImage(Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))
        camera.create_image(w / 2, h / 2, image=img)
    root.after(1, up)


  root.after(1, up)


capture()
up()

root.mainloop()

ご回答よろしくお願いいたします。

Answer 1

動作確認はしてないので、丸ごとコピーはせず
必要な箇所のみ参考にして下さい。

def capture():
    try:
        global c, w, h
        c = cv2.VideoCapture(0)
        w = c.get(cv2.CAP_PROP_FRAME_WIDTH)
        h = c.get(cv2.CAP_PROP_FRAME_HEIGHT)
    except:
        import sys
        c.release()
        cv2.destroyAllWindows()
    else: # VideoCapture初期化が成功した場合に実行される

        camera.config(width=w, height=h)

        # 元のコードでは、cv2.VideoCapture が失敗した後も up() を呼び出して
        # c.read() が実行されていましたが、失敗時は up() を起動しないように変更。
        up()


FONT_SIZE = 25
FILL_COLOR = (255, 0, 0)
font = ImageFont.truetype('meiryo', FONT_SIZE, encoding="utf-8")

def put_text_japanese(frame, text, pos):
    # 主な変更点: BGR2RGB -> RGB2BGR -> GBR2RGB と変換されてたのを、一度の変換のみに
    # 定数は関数外部に出して、毎回実行されないように。
    x, y = pos
    dest = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    draw = ImageDraw.Draw(dest)
    draw.text((x, y-FONT_SIZE-10), text, font=font, fill=FILL_COLOR)
    return ImageTk.PhotoImage(dest)


def up():
    global img
    ret, frame = c.read()
    if ret:
        result = face_recognition_image_driver(dataset_emb, names_list, face_detect, face_net, frame,
                                               face_recognition_threshold)
        img = put_text_japanese(frame, result, (0, int(h)))

        # タグを付けて、以前の画像を削除。
        # 削除しないと 秒間数十のアイテムが蓄積されます。
        camera.delete("img")
        camera.create_image(w / 2, h / 2, image=img, tags="img")
    root.after(15, up)

## mainloop内から起動。
#
# この時点では、canvasのサイズなどは未決定の為、後の mainloopで
# レイアウトやリサイズにより、設定したはずのサイズが上書きされる可能性があります。
#
# after_idle で mainloop() 側から呼んでもらうようにすることで、
# レイアウト後に関数が実行されるのを期待できます。
root.after_idle(capture)

root.mainloop()

Answer 2

tkinter と cv2 連携時の課題
以下の3点は tkinter の mainloop() を阻害する為、そのまま使えませんが、
sample.py では、ほぼ解消できているように見えます。

• [OK] while ループ

→ tkinter では、「スレッドを使う」か 「after に書き換え」

• [OK] cv2.imshow

→ tkinter では、canvas に表示

• cv2.waitKey

→ tkinter では不要 (ウィンドウを閉じて終了)

後は、up() 関数内にコードを持ってくるだけではないですか？

---

他の注意点

afterの引数の時間は ms 単位ですが、
タイマーの精度は、呼び出し間隔を保証されているわけではないので
もう少し大きい値が良いです。例えば windows であれば 15～16ms (fps 60 目安)

また、現在の実装ではメインスレッド上でキャプチャ等の処理を行いますが
もし時間がかかるような処理で、GUIの反応が鈍くなったりする場合は、
別スレッド・プロセスに処理を移す等も検討。

create.create_image の前に、以前の画像があれば delete した方が良いです。
画像自体はデストラクタにより PhotoImageの変数上書き時に廃棄されますが、
キャンバス内にアイテム情報が蓄積され続けます。

Comments

[mintiamegahard]

いつもご回答ありがとうございます。追加の質問で申し訳ないのですが、「後は、up() 関数内にコードを持ってくるだけではないですか？」についてお聞きしたいです。sample.pyのdef up()下にfr.pyのput_text_japanese()の内容をコピペしましたが、実行できませんでした。どの部分を持ってくるかもう少し具体的に教えていただけますでしょうか。

[teamikl]

実行できる環境がないので概要のみになりますが、

up() では ret, frame = c.read() としてから、
frame をキャンバスへ描画まで行ってますよね。

この c.read() で読まれた frame に対して
- face_recognition_image_driver
- put_text_japanese
を行ってから、frameをキャンバスへ描画 という流れになります。

[mintiamegahard]

おそらく回答していただいた内容を理解していないのですが、up()を以下のようにしても、カメラ撮影画面に名前が表示されません。
def up():
global img
ret, frame = c.read()
if ret:
result = face_recognition_image_driver(dataset_emb, names_list, face_detect, face_net, frame,
face_recognition_threshold)

def put_text_japanese(img, text, pos):
img_PIL = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
font_size = 25
font = ImageFont.truetype('meiryo', font_size, encoding="utf-8")
fillColor = (255, 0, 0) # 青(0, 0, 255)
draw = ImageDraw.Draw(img_PIL)
draw.text((pos[0], pos[1] - font_size - 10), text, font=font, fill=fillColor)
img = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)
return img

frame = put_text_japanese(frame, result, (0, int(h)))

img = ImageTk.PhotoImage(Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))
camera.create_image(w / 2, h / 2, image=img)
root.after(1, up)
お手数ですがteamikl様のお答えを教えていただけますでしょうか。

[teamikl]

インデント確認のため、質問文への掲載して下さい。

ほぼ想定通りです。が、画像を扱ってる部分の細部までは解りません。
- def put_text_japanese() 関数は def up() 関数の外へだす
- canvas.delete("img") # タグを付けて、以前の画像を削除
- canvas.create_image(w/2, h/2, image=img, tags="img")

インデントにより挙動が変わるのでわからない部分
- put_text_japanese, face_recognition_image_driver関数は期待通りに呼ばれていますか？
　- text が得られてるかどうかを print(text) で確認
　- 名前が得られた時の画像をファイルへ保存して、別の手段で表示確認

[mintiamegahard]

失礼しました。編集しなおします。

[teamikl]

「編集」で追記できますよ。

[mintiamegahard]

失礼しました。編集しましたので、ご確認をお願いいたします。

[teamikl]

(問題とは直接関係ない部分ですが) 画像のRGB2BGRの変換処理は、tkinter で表示するなら、
BGR → RGB 最初の一回で済むので、余分な変換を省けそうです。

[teamikl]

編集後、確認しました。
上記に挙げたポイントは残るものの、問題とは関係ない部分です。

他に思い当たる部分、画像に文字を描画する座標を確認してみて下さい。

キャンバスは
camera = tk.Canvas(f1, width=600, height=400, bg="white")
ですが、print(w, h) はどの様に表示されますか？

draw.text の後の行に、img_PIL.save("test_put_text.png") として
出力されたファイルを確認してみて下さい。文字は描画されているでしょうか？

画像のサイズとキャンバスのサイズが不一致の場合、表示領域外になってる可能性があります。
まずは、それぞれの関数が呼ばれているか、引数が正しく渡っているかを確かめましょう。

その上で、もし画像ファイルには文字があるが、tkinter上で表示されてないのでしたら、
キャンバスのサイズ修正で直ると思います。他の原因の場合は、また状況次第なので
まずは、上の点を確かめてみて下さい。

[mintiamegahard]

確認ありがとうございます。
canvas.create_image(w/2, h/2, image=img)の下の行にprint(w, h)を入力して実行すると、コンソール上に「640.0 480.0」と表示されました。なのでcamera = tk.Canvas(f1, width=600, height=400, bg="white")をwidth=640, height=480に変更したら画面左下に赤字で名前が表示されました！！

[teamikl]

原因はキャンバスサイズ<->画像サイズの不一致だったみたいですね。

解決策としては他に: キャンバスのサイズを変更する、
w,h を得たタイミングで変更したい場合 camera.config(width=w, height=h) とすることも出来ます。

手元で実行確認出来ませんが、上記の修正点を含めたコードを改めて投稿します。

[mintiamegahard]

今回もアドバイスありがとうございます。コード以外の内容も大変参考になりました。