読み込んだ画像から人物検出するために

Question

人物検出を行う際に、一番おすすめの方法は何でしょうか？

HOG特徴量を用いた人物検出やカスケード分類器作成しても人物検出できない写真が何枚かあります...

どのようにやっていけばいいのか分からなくて行き詰っています。
よろしければおすすめの参考サイトなども教えていただけると有り難いです。

Answer 1

HOG特徴量を用いた人物検出やカスケード分類器作成しても人物検出できない写真が何枚かあります...

HOG 特徴量ベースの検出器より精度がよい検出器を求めるのであれば、CNN ベースの検出器になります。
「CNN 物体検出」のキーワードでググるか、Qiita で調べると情報が出てきます。
ラベル「人」は大抵のデータセットに含まれているので、自分で学習しなくても学習済みモデルを持ってくるだけで検出できます。

Pytorch を使った検出の例

torchvision.models — PyTorch 1.6.0 documentation

前提知識がいろいろと必要のため、コードの詳細な説明は省略しますが、例えば、Pytorch を使うと以下のようにできます。

import torch
import torchvision
from PIL import Image, ImageDraw
from torchvision import models as models
from torchvision import transforms as transforms

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")


# モデルを作成する。
model = models.detection.fasterrcnn_resnet50_fpn(pretrained=True).to(device)
model.eval()

# 画像を読み込む。
img = Image.open("sample.jpg")
img_tensor = transforms.functional.to_tensor(img).to(device)

# 推論する。
output = model([img_tensor])[0]

# ラベル「人」かつスコアが 0.8 以上の矩形を取り出す。
PERSON_ID = 1
cond = (output["labels"] == PERSON_ID) & (output["scores"] >= 0.8)
person_boxes = output["boxes"][cond].detach().cpu().numpy()


draw = ImageDraw.Draw(img, mode="RGBA")

for box in person_boxes:
    print(box)
    draw.rectangle(box, outline="red", width=3)

img

↓

Comments

[obakoh]

詳しくありがとうございます。。。
卒業研究としてやっていてpythonすら初心者なのでPytorchはやめておいたほうがよいでしょうか？？

[tiitoi]

OpenCV のカスケード検出器より上の精度を求めるのであれば、CNN 一択だと思います。
なので、
* OpenCV のカスケード検出器の検出精度で妥協する
* CNN を勉強して、CNN ベースの物体検出を行う

の2択になり、「どうしても現状より精度がよい検出器が必要か」、「どのくらいこの作業に時間をかけられるか」などの状況を加味して、質問者さんが決めることです。

[tiitoi]

卒業研究の締め切りがまだ数ヶ月以上先なのであれば、Python の基礎を勉強して、物体検出について学習することは期間的に可能かとは思います。
どのぐらいこの作業に時間が割けるか次第です。

[fana]

> 卒業研究

の内容というのは（きっと）「人物領域を検知しておわり！」ではないでしょうから，
人物検知自体の精度を追い求めるべきか否か，そこにどれほどのコストを費やしてよいのか？
…あたりから考えるべきかもしれません．
（いやいや，人物検知自体なのだ！ということであれば，どこかから学習済みデータをもってきて動かしたら終了，ってわけにもいかないだろうし…？）

[obakoh]

検出してそこからまだやることがあるので、OpenCVのままやっていくことにしました。ご丁寧にありがとうございます。またやる機会があればCNNも学んでいこうと思います。