写真フォルダからアップの写真一枚、全身の写真一枚をピックアップしたい

Question

このように背景紙の前で撮影したたくさんの写真の中から、プロフィール用にアップの写真一枚と全身の写真を一枚、計二枚取り出したいと考えております。

OpenCVを使って顔認識をさせて、顔の幅が最も大きな写真を一枚、顔の幅が最も小さな写真を一枚ピックアップできれば要件を満たすと考え、以下のようなプログラムを組みました。

import os
import cv2
import math
import numpy as np
from PIL import Image

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')#学習データ

img_dir_path = input('画像フォルダのパスを入力してください：')#

#img_dir_path = '/Users/user/Desktop/drive-download'
pictures = os.listdir(img_dir_path)#フォルダリストの中身をリスト化

if '.DS_Store' in pictures:
    pictures.remove('.DS_Store')

if 'Thumbs.db' in pictures:
    pictures.remove('Thumbs.db')
    
print(pictures)

#os.mkdir(os.path.join(img_dir_path,'output'))
all_faces = []#写真ごと全ての顔の座標や大きさの情報を入れるリスト

i = 0

while i < len(pictures):
    
    img = cv2.imread(os.path.join(img_dir_path,pictures[i]))
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)#
    faces = face_cascade.detectMultiScale(gray, scaleFactor = 1.2, minSize = (250,250), maxSize = (1600,1600))

    print(pictures[i])

#顔認証に失敗した場合
    if len(faces) == 0:
        img = cv2.imread(os.path.join(img_dir_path,pictures[i]))


# 回転角の指定
        for j in range(-15,15):#-４５°〜４５°まで画像を回転
            angle = 5*j
            scale = 1.0
            height, width = img.shape[:2]
#回転の中心を指定                          
            center = (int(width/2), int(height/2))        
            trans = cv2.getRotationMatrix2D(center, angle , scale)
#アフィン変換
            img_rot = cv2.warpAffine(img, trans, (width,height))        
            gray = cv2.cvtColor(img_rot, cv2.COLOR_BGR2GRAY)
            faces = face_cascade.detectMultiScale(gray, scaleFactor = 1.2, minSize = (250,250), maxSize = (1600,1600))
            if len(faces) > 0:
                print('回転させた結果認識!' + str(faces))
                face_max = faces[faces[:, 2].argmax()]
                # img[top : bottom, left : right]
                #np.insert(all_faces, faces)#空のリストに顔リストを一つ追加
                
                all_faces.append(face_max)     
                break
                
    
#顔認証に成功した場合
    elif len(faces) > 0:
        face_max = faces[faces[:, 2].argmax()]

        #print(face_max)

        #np.insert(all_faces, faces)#空のリストに顔リストを一つ追加                             
        all_faces.append(face_max)                             
                                     
        img = Image.open(os.path.join(img_dir_path,pictures[i]))
        width, height = img.size

        #print(face_max[0])
                                     




    i = i + 1 

print('END')
print(all_faces)

その結果、最終行のprint(all_faces)が以下のような形式で書き出されました。

[array([1122,  564,  365,  365], dtype=int32), 
array([1245,  680,  369,  369], dtype=int32), 
array([1157,  605,  378,  378], dtype=int32), 
array([810, 505, 710, 710], dtype=int32), 
array([901, 877, 706, 706], dtype=int32), 
array([783, 652, 723, 723], dtype=int32), 
array([1414, 1150, 1104, 1104], dtype=int32), 
array([1365, 1395,  920,  920], dtype=int32), 
array([669, 976, 476, 476], dtype=int32)]

ここから先つまづいてしまったのですが、この中から幅の最大値と最小値を持つ要素をそれぞれ指定したいと考えております。

OpenCVの顔認識は[X,Y,W,H]の形式で書き出されるので、最大値は下から３行目の1104で最小値は１行目の365だということが自分ではわかるのですが、これをプログラムで指定したいと考えております。

基礎的な部分なのかもしれませんが、ご教示いただければ幸いです。

ここから先は、「最小値がN行目にあるから、写真リストのN番目のが全身の写真だ！」といったプログラムを書いて発展させていこうと考えております。

以上、よろしくお願いいたします。

Answer 1

以下のような感じでnp.arrayにすると最大、最小の行位置が得られます。

import numpy as np

l =[np.array([1122,  564,  365,  365]), 
    np.array([1245,  680,  369,  369]), 
    np.array([1157,  605,  378,  378]), 
    np.array([810, 505, 710, 710]), 
    np.array([901, 877, 706, 706]), 
    np.array([783, 652, 723, 723]), 
    np.array([1414, 1150, 1104, 1104]), 
    np.array([1365, 1395,  920,  920]), 
    np.array([669, 976, 476, 476])]

a = np.array([v.tolist() for v in l])

print(a[:,2].argmin()) # 0
print(a[:,2].argmax()) # 6

ちなみに私なら、幅ではなく画像全体の面積と顔（と認識された領域）の面積の比率で判定させたいと思います。

Comments

[TakayukiMoriya]

tolist()で解決する方法、ありがとうございました！
＞画像全体の面積と顔（と認識された領域）の面積の比率で判定させたいと思います。
確かにその方が汎用性が高いですね。今回は質問ページに貼った画像のようにひたすら縦に撮った人物写真のみが対象なので幅の数値をそのまま使う予定ですが、今後のシステム増強時には実装してみようと思います。

Answer 2

シンプルに考えると、 all_facesはndarrayだと思うので、

w_list = all_faces[:,2]

のようにリストにWの値を全部突っ込んで、

リストの最大値（最小値）のindexを取得する6つの方法を計測してみた にあるような方法でリストのindexと最小値を算出すれば良さそうです。

Comments

[TakayukiMoriya]

ありがとうございます、ですが
TypeError: list indices must be integers or slices, not tuple
このエラーが出てしまい、うまく指定できません

[tetsunosuke]

all_faces[:,2]　がすでにエラーでしたか。。
ndarrayのつもりで検証していましたが、違ったのかもしれません。改めて検証してみます

[TakayukiMoriya]

ありがとうございます。解決しました！