openCVとDlibを使った顔の動画切り出し

Question

jupyterで顔部分の動画切り出しを行いたいのですが、顔部分を検知できなくなるとエラーが出てしまいます。

コード
import os,sys
import cv2
import dlib
from imutils import face_utils
from scipy.spatial import distance

cap = cv2.VideoCapture(0)
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_alt2.xml')
face_parts_detector = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

while True:
    ret, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)
    faces = face_cascade.detectMultiScale(gray, scaleFactor=1.11, minNeighbors=3, minSize=(100, 100))
    
    if len(faces) == 1:
        x, y, w, h = faces[0, :]
        cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 0), 2)
        
        face_frame = frame[y:y+h,x:x+w]
        scale = 480/h
        face_frame_resized = cv2.resize(face_frame, dsize=None, fx=scale, fy=scale)
        
        face = dlib.rectangle(0, 0, face_frame_resized.shape[1], face_frame_resized.shape[0])
        landmarks = face_parts_detector(face_frame_resized, face)
        face_parts = face_utils.shape_to_np(landmarks)
        
        eye_x1 = landmarks.part(0).x
        eye_x2 = landmarks.part(16).x
        eye_y1 = landmarks.part(21).y
        eye_y2 = landmarks.part(29).y
        
        if eye_x1<eye_x2 and eye_y1<eye_y2:
            eye_frame = face_frame_resized[eye_y1:(eye_y2+1), eye_x1:(eye_x2+1)]
            eye_frame = cv2.resize(eye_frame, dsize=(256,256))
                
            cv2.imshow('eye_frame', eye_frame)
    
    cv2.imshow('frame', frame)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
        
cap.release()
cv2.destroyAllWindows()

以下エラー内容です

error: OpenCV(4.5.3) C:\Users\runneradmin\AppData\Local\Temp\pip-req-build-uzca7qz1\opencv\modules\imgproc\src\resize.cpp:4051: error: (-215:Assertion failed) !ssize.empty() in function 'cv::resize'

御助力いただけると幸いです。

Answer 1

cv2.resizeに渡すいずれかが要素数0になっているかもしれませんね。下記のようにアサーションを入れながらエラーの箇所を探っていくしかないかなと思います。

        assert not face_frame.size == 0 
        face_frame_resized = cv2.resize(face_frame, dsize=None, fx=scale, fy=scale)