顔認証のプログラム、waitKey()が実行されない

Question

Pythonで作った以下の顔認証のプログラムで、新しい顔、名前を登録するためにカメラを開く(TABキーを押す)と、どのキーを押してもカメラが閉じられないという不具合が発生してしまいました。少し確かめてみたところ、新しい顔を登録する処理を行うdef save_frame_camera_key()内のwaitKey()より後ろの処理が実行されていなさそうです。エラー文は出ておりません。
理由が分かる方いらっしゃるでしょうか？

ちなみに、このプログラムはcv2などをダウンロードしたanaconda上で動かしています。

# -*- coding: utf-8 -*-
"""face_multi.ipynb

Automatically generated by Colaboratory.

Original file is located at
    https://colab.research.google.com/drive/1oad9u6TYnexZL3A7I86OkMRfnS6tz76B

ランタイムをGPUモードに変更
"""

# !pip install face_recognition

"""ライブラリーのインポート"""

# -*- coding: utf-8 -*-
import os
import sys
import face_recognition
import cv2
import numpy as np
from PIL import ImageFont, ImageDraw, Image
import glob

"""設定ファイルの読み込み"""

import config
emp_info = config.emp_info
threshold = config.threshold
mode = config.mode

"""顔情報の初期化"""

face_locations = []
face_encodings = []

"""登録画像の読み込み"""

# image_paths = glob.glob('image/*')
image_paths = glob.glob('image_jp/*')
image_paths.sort()
known_face_encodings = []
known_face_names = []
checked_face = []

for image_path in image_paths:
    im_name = os.path.basename(image_path).split('.')[0]
    image = face_recognition.load_image_file(image_path)
    face_encoding = face_recognition.face_encodings(image)[0]
    known_face_encodings.append(face_encoding)
    known_face_names.append(im_name)

video_capture = cv2.VideoCapture(0)

def main(): 

	# 処理フラグの初期化
	process_this_frame = True

	while True:
		# ビデオの単一フレームを取得
		_, frame = video_capture.read()

		# 時間を節約するために、フレーム毎に処理をスキップ
		if process_this_frame:
			# 画像を縦1/4 横1/4に圧縮
			small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)

			# 顔の位置情報とエンコード
			face_locations = face_recognition.face_locations(small_frame)
			face_encodings = face_recognition.face_encodings(small_frame, face_locations)

			#名前配列の初期化
			face_names = []

			for face_encoding in face_encodings:

				matches = face_recognition.compare_faces(known_face_encodings, face_encoding, threshold)
				name = "Unknown"

				# we use the known face with the smallest distance to the new face
				face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
				best_match_index = np.argmin(face_distances)
				if matches[best_match_index]:
					name = known_face_names[best_match_index]

				face_names.append(name)

		# 処理フラグの切り替え
		process_this_frame = not process_this_frame

		#for (top, right, bottom, left) in face_locations:
		for(top, right, bottom, left), name in zip(face_locations, face_names):
			
			# 圧縮した画像の座標を復元
			top *= 4
			right *= 4
			bottom *= 4
			left *= 4

            # B-Boxを描画
			cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)
			cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)
   
			# 日本語表示部分
			fontpath ='meiryo.ttc'
			font = ImageFont.truetype(fontpath, 32) # フォントサイズ32pt
			img_pil = Image.fromarray(frame) # 配列の各値を8bit(1byte)整数型(0～255)をPIL Imageに変換。
			draw = ImageDraw.Draw(img_pil) # drawインスタンスを生成
			position = (left + 6, bottom - 40) # テキスト表示位置
			draw.text(position, name, font = font , fill = (255, 255, 255, 0) ) # drawにテキストを記載 fill:色 B,G,R,Alpha設定は反映されない
			frame = np.array(img_pil) # PIL を配列に変換

			# # 本人確認
			# if mode == 1 and name != "Unknown":
			# 	check_id(name)

		# 結果をビデオに表示
		cv2.imshow('Video', frame)

		#TABキーで新しい顔と名前を追加
		if cv2.waitKey(1) == 9:
			new_name()
		
		# ESCキーで終了
		if cv2.waitKey(1) == 27:
			break
		
			

def check_id(name):
    if name in checked_face:
        return

    emp_id = input (name + "さんの社員番号を入力してください。")
    
    if emp_info[name] == emp_id:
        print("出勤しました")
        checked_face.append(name)
    else:
        print("社員番号が不正です")
        name = ""

def new_name():
	name = input("追加する方の名前を入力してください。\n")
	save_frame_camera_key(device_num=0, dir_path=r"C:\Users\hatae\OneDrive\ドキュメント\face_recognition\image_jp", basename=name, ext='jpg', delay=1, window_name='frame')

#新しい顔を撮影し、保存する
def save_frame_camera_key(device_num, dir_path, basename, ext='jpg', delay=1, window_name='frame'):
	process_this_frame = True

	print("SPACEキーで撮影　TABキーで戻る")
	#cap = video_capture

	#if not cap.isOpened():
	if not video_capture.isOpened():
		return

	os.makedirs(dir_path, exist_ok=True)
	base_path = os.path.join(dir_path, basename)

	n = 0
	while True:
		#ret, frame = cap.read()
		ret, frame = video_capture.read()

		# 時間を節約するために、フレーム毎に処理をスキップ
		if process_this_frame:
			# 画像を縦1/4 横1/4に圧縮
			small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)

			# 顔の位置情報とエンコード
			face_locations = face_recognition.face_locations(small_frame)
			face_encodings = face_recognition.face_encodings(small_frame, face_locations)


		# 処理フラグの切り替え
		process_this_frame = not process_this_frame

		for (top, right, bottom, left) in face_locations:
		#for(top, right, bottom, left), name in zip(face_locations, face_names):
			
			# 圧縮した画像の座標を復元
			top *= 4
			right *= 4
			bottom *= 4
			left *= 4

            		# B-Boxを描画
			cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 4)

		cv2.imshow(window_name, frame)

		#key = cv2.waitKey(delay) & 0xFF
		if cv2.waitKey(1) == 10: #Enterキーで静止画保存
			cv2.imwrite('{}_{}.{}'.format(base_path, n, ext), frame)
			n += 1
		if cv2.waitKey(1) == 32: #Spaceキーでカメラを閉じる
			break

	cap.release()
	cv2.destroyWindow(window_name)


	
	

main()

# ウェブカメラへの操作を開放
video_capture.release()
cv2.destroyAllWindows()

Answer 1

そもそもプログラムの組み方に問題があります。

まず、main()にwhileが使われている上にsave_frame_camera_key()にもwhileが使われているので、2重ループになっています。
そして、main()内のframeでWebカメラの画像を取得してるのにsave_frame_camera_key()でもう一回Webカメラの画像を取得して2度手間になっています。

極端な話、save_frame_camera_key()自体が必要がないと思います。

ご質問されたコードを直すとすれば、以下のコードになると思います。動作確認はしていませんが、やりたいことはちゃんと満たされているはずです。

# -*- coding: utf-8 -*-
"""face_multi.ipynb

Automatically generated by Colaboratory.

Original file is located at
    https://colab.research.google.com/drive/1oad9u6TYnexZL3A7I86OkMRfnS6tz76B

ランタイムをGPUモードに変更
"""

# !pip install face_recognition

"""ライブラリーのインポート"""

# -*- coding: utf-8 -*-
import os
import sys
import face_recognition
import cv2
import numpy as np
from PIL import ImageFont, ImageDraw, Image
import glob

"""設定ファイルの読み込み"""

import config
emp_info = config.emp_info
threshold = config.threshold
mode = config.mode

"""顔情報の初期化"""

face_locations = []
face_encodings = []

"""登録画像の読み込み"""

# image_paths = glob.glob('image/*')
image_paths = glob.glob('image_jp/*')
image_paths.sort()
known_face_encodings = []
known_face_names = []
checked_face = []

for image_path in image_paths:
    im_name = os.path.basename(image_path).split('.')[0]
    image = face_recognition.load_image_file(image_path)
    face_encoding = face_recognition.face_encodings(image)[0]
    known_face_encodings.append(face_encoding)
    known_face_names.append(im_name)

video_capture = cv2.VideoCapture(0)

def main():

    # 処理フラグの初期化
    process_this_frame = True
    n = 0

    while True:
        # ビデオの単一フレームを取得
        _, frame = video_capture.read()

        # 時間を節約するために、フレーム毎に処理をスキップ
        if process_this_frame:
            # 画像を縦1/4 横1/4に圧縮
            small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)

            # 顔の位置情報とエンコード
            face_locations = face_recognition.face_locations(small_frame)
            face_encodings = face_recognition.face_encodings(small_frame, face_locations)

            #名前配列の初期化
            face_names = []

            for face_encoding in face_encodings:

                matches = face_recognition.compare_faces(known_face_encodings, face_encoding, threshold)
                name = "Unknown"

                # we use the known face with the smallest distance to the new face
                face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
                best_match_index = np.argmin(face_distances)
                if matches[best_match_index]:
                    name = known_face_names[best_match_index]

                face_names.append(name)

        # 処理フラグの切り替え
        process_this_frame = not process_this_frame

        #for (top, right, bottom, left) in face_locations:
        for(top, right, bottom, left), name in zip(face_locations, face_names):

            # 圧縮した画像の座標を復元
            top *= 4
            right *= 4
            bottom *= 4
            left *= 4

            # B-Boxを描画
            cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)
            cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)

            # 日本語表示部分
            fontpath ='meiryo.ttc'
            font = ImageFont.truetype(fontpath, 32) # フォントサイズ32pt
            img_pil = Image.fromarray(frame) # 配列の各値を8bit(1byte)整数型(0～255)をPIL Imageに変換。
            draw = ImageDraw.Draw(img_pil) # drawインスタンスを生成
            position = (left + 6, bottom - 40) # テキスト表示位置
            draw.text(position, name, font = font , fill = (255, 255, 255, 0) ) # drawにテキストを記載 fill:色 B,G,R,Alpha設定は反映されない
            frame = np.array(img_pil) # PIL を配列に変換

            # # 本人確認
            # if mode == 1 and name != "Unknown":
            #     check_id(name)

        # 結果をビデオに表示
        cv2.imshow('Video', frame)

        #TABキーで新しい顔と名前を追加
        if cv2.waitKey(1) == 9:
            name = input("追加する方の名前を入力してください。\n")
            dir_path=r"C:\Users\hatae\OneDrive\ドキュメント\face_recognition\image_jp"
            cv2.imwrite('{}_{}.jpg'.format(dir_path, n), frame)
            n += 1

        # ESCキーで終了
        if cv2.waitKey(1) == 27:
            break


def check_id(name):
    if name in checked_face:
        return

    emp_id = input (name + "さんの社員番号を入力してください。")

    if emp_info[name] == emp_id:
        print("出勤しました")
        checked_face.append(name)
    else:
        print("社員番号が不正です")
        name = ""



main()

# ウェブカメラへの操作を開放
video_capture.release()
cv2.destroyAllWindows()

Comments

[RayU]

このプログラムの場合、新しく撮影して保存される顔写真はどういうものになるのでしょうか？

[Supernove]

すみません、質問の回答になるかわかりませんが、tabキーを押した時点のフレームが画像データとして保存されます。

[RayU]

ありがとうございます。
先ほど直していただいたコードを実行してみたのですが、dir_pathで指定した先に撮影した画像が保存されていませんでした。他にも何か問題があるのでしょうか？

[Supernove]

あとはWindowsではパスをバックスラッシュでやりますが、バックスラッシュ一つだと組み合わせによってはエスケープシーケンスと勘違いされることがあるので、バックスラッシュになっているところにもう一つバックスラッシュを追加してください。(例)C:\hoge\huga\

[Supernove]

もう一つだけ言っておくと極力プログラムでパスを指定するときには日本語は避けたいです。他の人にプログラムを渡すときに文字化けになる可能性があることと、今回のようにエラーが出たときに原因の切り分けが必要になるので初心者の方こそなるべくすべてアルファベットのパスになるようにするのがいいと思います

[RayU]

おっしゃる通りでした、日本語での入力を求めていたのですが、ファイル名が文字化けしてしまいました。
imwriteを実行するとき、日本語のファイル名で保存することは出来ないのでしょうか？

[Supernove]

一応参考なりそうな記事はありましたが、ちょっとややこしいのでちゃんと読んで丸コピすることなく必要な部分だけをちゃんと自分のコードに入れるようにしてくださいね。

https://qiita.com/SKYS/items/cbde3775e2143cad7455

[RayU]

上手くいきました。
何度も質問に答えていただいて、本当にありがとうございます。とても助かりました。