Pythonのリストの近似値２要素のみ取り出したい

Question

Open CVのeye_cascadeを使用した目の認識を行なっているのですが、誤検知を減らす上で、表題のような課題に突き当たりました。

実際に書いたコード

下記コードのように、写真を読み込ませて顔認識した範囲で目認識をしようとします

import os
import cv2

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')#学習データ
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')#学習データ

img = cv2.imread('DSC_0064.JPG')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, scaleFactor = 1.1, minSize = (400,400), maxSize = (int(width*0.8),int(width*0.8)))
face_max = faces[faces[:, 2].argmax()]
    
img1 = img[int(face_max[1]) : int(face_max[1]+face_max[2]), int(face_max[0]): int(face_max[0]+face_max[3])]#元画像を顔部分のみクロップ→その範囲のみ目顔認証をかける
gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
eyes = eye_cascade.detectMultiScale(gray1, scaleFactor = 1.1,minNeighbors=10, minSize = (50,50), maxSize = (350,350))

print(type(eyes))
print(eyes)#[x,y,w,h]の形で書き出される

結果

<class 'numpy.ndarray'>
[[ 99 143 112 112]
 [298 154 102 102]
 [141  37  80  80]]

ndarray形式でこのような結果が書き出され、左右２つの目を認識したいにも関わらず３箇所認識されている結果となりました。（前髪や口が誤認識されているようです。）

そこで考えたのですが、目というものは、左右２つはほぼ水平に写真に収められるものなので、各要素の2番目のy座標の値に注目し、上から143と154と37だと、37の値が他の２つに比べて逸脱しているのでこれが誤検知なのだと判断できます。

このように、y座標の値が近似な２つの要素のみ抽出する

[[ 99 143 112 112]
 [298 154 102 102]]

といった処理を行い誤検知の値を排除したいと考えているのですが、なかなかうまい方法が思いつきません。

良い方法をご存知でしたらご教授いただけたらと思い、質問させていただきました。よろしくお願いします。

Comments

[Q71]

顔検出というデータファイルがありませんでしたか？顔として検出した中にある、とするのはどうでしょう？

[TakayukiMoriya]

説明不足＆画像の例が悪くてすみません。実はそれは既に行なっております。
この画像の例以外にも、口を誤検出したりすることが多いので、やはりy座標を根拠としたソートの方がより確実だと考えます。

[quickquip]

eyes = [[2264 1453 194 194]
[2582 1589 166 166]
[3388 2100 89 89]]
この部分、Pythonとして正しいコードにしていただけないでしょうか?
"intのリスト"のリストですか? numpy.ndarrayですか?

[TakayukiMoriya]

ndarry形式です。リストと言っていたのはNumpyのリスト形式という意味ですね。知識不足で混同してました。

[quickquip]

Numpyだと普通は(カジュアルには)配列かarrayと呼ぶかと思います。

eyes = np.array([[2264, 1453, 194, 194],
[2582, 1589, 166, 166],
[3388, 2100, 89, 89]])
ですね。そう分かるように質問を編集しましょう。（ここは"質問への追記・修正の依頼"欄です）

[TakayukiMoriya]

諸々コードが変なので、修正します。申し訳ございません

[tiitoi]

eyes の矩形一覧を y座標が近いもの同士でグループ分けしたいということでしょうか？

[t_obara]

顔の片側しか写っていない場合どうするのかなどあるので、外側から頑張るより、精度が良い別の手法の方が簡単だったりします（処理速度との兼ね合いはありますが）。

[TakayukiMoriya]

tiitoiさん、そうですね。グループ分けで要件を満たすと思います！

[TakayukiMoriya]

t_obaraさん
仮に１つしか目を認識できなかったら、それはうまく撮れていない写真と判定し、処理をスルーしてしまう予定でした。
精度が高い別の手法って何ですか？？？

[t_obara]

mtcnnとかdlibとか。詳しくはググってみると良いです。

Answer 1

そうですね。グループ分けで要件を満たすと思います！

y の値に基づいてグループ分けを行うコードを下記に貼ります。
y の値が小さい順に矩形をソートしておいて、1行前の y の値と今の行の y の値との差が50 px 以上ある場合はそこで区切るようにしました。

import numpy as np

a = np.array([[99, 143, 112, 112],
              [298, 154, 102, 102],
              [141, 37, 80, 80]])

sorted_a = a[np.argsort(a[:, 1])]


groups = []
tmp = []
y = sorted_a[0, 1]

for row in sorted_a:
    if row[1] - y >= 50:  # 差が50px以上なら区切る
        groups.append(tmp)
        tmp = []
        y = row[1]
    tmp.append(row)
groups.append(tmp)

print(groups)

numpy の関数を使って上記処理を書くと以下のようにすることもできます。

split_pos = np.nonzero(np.diff(sorted_a[:, 1]) >= 50)[0] + 1  # 分割する行
groups = np.split(sorted_a, split_pos)  # 行方向に分割  
print(groups)

y の値が近いもの同士でグループ分けするやり方について回答しましたが、目の位置の誤検出をへらすというのが最終目的であるとすると、このやり方だと不十分な気がします。
例えば、顔が斜めであれば、2つの目の y の値が違って来ますし、目の位置と y の値が同じ場所に誤検出が発生した場合は区別できません。

本質的な解決策はカスケード検出器ではなく、より精度のよいアルゴリズムを検討したほうがよいでしょう。

例えば、dlib の顔認識機能を Python から簡単に使えるようにした Face Recognition というライブラリがあります。

Python - 顔認識ライブラリ Face Recognition で顔検出を行う方法