パーティクルフィルタを用いた色情報を用いない人物追跡について

Question

パーティクルフィルタを用いて人物のトラッキングを行いたいのですが、実装しようと思い色々調べてみたのですが多くの記事が色情報を元にしたトラッキング手法になっています。
色情報を用いずに人物をパーティクルフィルタでトラッキングすることは可能なのでしょうか。
また可能な場合どのような手順を踏んで実装すれば良いでしょうか。
python、opencvを用いて実装しようと思っています。
ちなみにトラッキングを行うのはテニスの試合動画の手前側の選手です。

Answer 1

前提条件

パーティクルフィルタはある座標を追跡するかどうか選別するの道具であって、画像から追跡する座標群を救い上げてくる道具ではありません。ですので、課題の本質は、

• 色情報を用いずに、「パーティクルフィルタで人物を追跡できる」か
  ではなく、
• 色情報を用いずに、「人物を検出できる」か
  と考えます。

ですので、質問の内容を整理すると、

• グレースケール画像から人の座標を探し出したい（物体検出）
• 物体検出した結果の座標から、同じ人であれば追跡できればそれでよく、追跡部分をパーティクルフィルタで検討
  と思います。

回答

Q.グレースケール画像から人物を見つけられますか？
はい、できます。

古いやり方）
HAAR-LIKE特徴量やHOG特徴量らはグレースケール画像に対応した物体検出技術でこれらが候補に挙がります。ガラケーで使われていたような技術なので軽快に動作しますが精度はそれほど良くありません。

新しいやり方）
YOLOなどの深層学習を用いた方法であれば満足してもらえるような精度を出せると思います。アルゴリズムにもよりますが、YOLO系のアルゴリズムはRasbperryPiでもリアルタイムで動かせますし、GoogleのmediapipeはCPU向けに最適化されているのでサクサク動きます。が、これらは基本的にカラー画像用のため、グレースケール画像を3chのカラー画像に変換させる必要があります。
これらのアルゴリズムを用いた人検知の重みデータ（検出のためのニューラルネットワークの設定情報）も公開されているとは思いますが、グレースケール画像では思ったほどの精度は出ない可能性が高いです。精度に満足がいかない場合は、自力で学習処理も行う必要があります。