連続画像（動画）中の指定した物体の追跡方法

Question

事前に指定した形のものを画像の中から抽出し追跡していく方法が知りたいです。

例えば、以下の図のように1つの画像の中に複数の物体があったとして、
この物体の大きさがだんだん小さくなる動画を想定します。
事前に赤で囲んだ星のように物体追跡したい物体を指定して、
だんだん物体が小さくなっていった後も追跡したいです。

trackingについて調べていても、追跡したいものを自動で検出するものや
四角で囲んで指定するものしか見つけることができませんでした。
実際に私が検出したいものは★よりももっと複雑な形状をしていますので、
どうにか自分で指定した複雑な形状のものを検出するアルゴリズムを探しております。

もし何か物体追跡に詳しい方がおられました、お力添えしていただけると幸いです。

Answer 1

トラッキング開始時に追跡する対象をこちらで指定する必要があります。
そのため、形状等で判断できる対象物であれば輪郭抽出などの画像処理、人物のようにより複雑な特徴を持つ対象物であれば CNN を利用した物体検出を利用して、まず対象物を見つけます。

対象が見つかった場合は、トラッキングのアルゴリズムに渡します。
トラッキングは OpenCV の Object Tracking API が利用できます。

【Python】OpenCVのTracking APIを使ったWebカメラでの物体追跡アルゴリズム

まとめると、

トラッキング対象の物体を見つける → トラッキングアルゴリズムにわたす

という2段階にすればよいと思います。

Comments

[fana]

今やTLDの実装とか存在するんですね．
（昔，すごい頑張って実装したのに…）

[masukin]

ご回答ありがとうございます。指定してからObject Tracking APIに渡すことが出来るのですね、

もう一つ伺いたいのですが、
Object Tracking APIで追跡した結果では、輪郭までも正確に捉えることができますでしょうか。
APIを使った例でそのような出力結果がでているものが見当たらなかったので、
もしこのアルゴリズムに詳しければ教えてください。

[tiitoi]

Object Tracking APIで追跡した結果は矩形として返されますが、追跡中の物体を輪郭の情報として得たいのであれば、その矩形の範囲で輪郭抽出を行えばいいのではないでしょうか。

[masukin]

ご返信いただき、ありがとうございます。
そうでしたか。。試してみます。ありがとうございます。

何度も聞いて、申し訳ないのですが、もし可能であれば、もう一点お伺いしたいことがあります。
トラッキングしたいものを事前に指定する方法で苦労しておりまして、
添付していただいたサイトのなかのコードの16行目で
ret = tracker.init(frame, roi)
というコードがあり、このうちのroiに指定したい輪郭を指定すればいいと思っているのですが、
roiに長方形ではなく、座標を入力することは可能でしょうか。

[tiitoi]

> roiに長方形ではなく、座標を入力することは可能でしょうか。

輪郭は指定できないですが、cv2.boundingRect() で輪郭を囲んでいる矩形を取得できるので、それを渡せばいいと思います。

http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_contours/py_contour_features/py_contour_features.html

[masukin]

ご返信ありがとうございます。非常に助かりました。
試してみます。