顔認識精度を高める方法

Question

opencvを使って顔を認識するプログラムを作ったのですが横を向いたときの検出ができません。どのようにすれば検出できすようになりますか？
分類機にhaarcascade_frontalface_default.xmlを使用しています。VScodeを使用しており、pythonを使っています。

Answer 1

OpenCV のカスケード検出器について

横顔用のカスケードモデルは OpenCV にはありません。
自分で横顔画像のデータを大量に集めて学習する必要があると思います。

OpenCV - カスケード分類器 CascadeClassifier で画像から顔や目を検出する方法について - pystyle

顔検出ができる他のライブラリ

他の顔検出ができるライブラリを使う手もあります。
OpenCV のカスケード検出器は HOG 特徴量ベースなので、CNN ベースのこちらのほうが検出率もいいです。

Python - 顔認識ライブラリ Face Recognition で顔検出を行う方法 - pystyle

import face_recognition
from IPython.display import display
from matplotlib import pyplot as plt
from PIL import Image, ImageDraw

# 画像を読み込む。
img = face_recognition.load_image_file("face.jpg")

# 画像から顔の領域を検出する。
face_locs = face_recognition.face_locations(
    img, model="cnn", number_of_times_to_upsample=1
)


def draw_faces(img, locs):
    img = Image.fromarray(img)
    draw = ImageDraw.Draw(img, mode="RGBA")

    for top, right, bottom, left in locs:
        draw.rectangle((left, top, right, bottom), outline="lime", width=2)

    return img


ret = draw_faces(img, face_locs)
ret.save("result.png")

Comments

[bossamukunn]

質問を投稿する際にraspbianを使っていると記載するのを忘れていました。
２つ目のプログラムのどの部分を変えたら良いでしょうか？

[tiitoi]

ラズパイですかね？Ubuntu OS であれば、
apt install -y build-essential cmake
pip install face_recognition
でインストールできないでしょうか？(Ubuntu 18.04 ではこれでインストールできたのですが、ラズパイでできるかどうかはわからないです)

[bossamukunn]

やってみます

[bossamukunn]

ダウンロードできました！

[tiitoi]

それで回答のコード動かないですか？

Answer 2

haarcascade_frontalface_default.xml

これは正面向きの顔の認識用でしょうから，横向きが検出できないのは仕方ない（というかむしろ正解）のではないでしょうか．
横向きの顔を検出したいならば，横向きの顔を学習したデータを用意する必要があるのではないかと思います．

Comments

[fana]

「opencv haar-like 横顔」とかでググると，横顔用のファイルも存在するっぽい話が見つかりますな．
試してみては？

[bossamukunn]

試してみます

[bossamukunn]

横顔を検出するファイルを見つけました。frontalfaceのファイルと入れ替えるだけで良いのでしょうか？

[fana]

とりあえずそうしてみては？

[bossamukunn]

OpenCV(4.1.1) /home/pi/opencv-python/opencv/modules/objdetect/src/cascadedetect.cpp:1689: error: (-215:Assertion failed) !empty() in function 'detectMultiScale'
File "/home/pi/opencv-webcam.py", line 94, in <module>
face_list = face_cascade.detectMultiScale(img_gray, minSize=(cms, cms), scaleFactor=1.025, minNeighbors=30)
とエラーが出てきたのですがどうすればよいですか？

[fana]

OpenCVの検出器を使った経験がほぼ無いので，エラーを示されても私にはわかりませんが…
メッセージの中では　「!empty()」　と言っているので，
入れ替えたファイルの読み込みがうまくないとか，あるいはimg_grayが空だったりとか？　何かそういう方向の問題ではないかと想像します．
（cascadedetect.cppというソースコードの該当箇所を見ることができませんか？）