YOLOなどで検知をした「後」の動画加工処理について

Question

###機械学習で検知した情報を動画ファイルにフィードバックしたい

機械学習の初心者エンジニアです。目下E資格取得に向けた勉強中です。
YOLOなどで物体検知した後についてわからないです。

例えば動画ファイルで物体検知をする際に、
機械学習の結果として、座標情報や検知開始時間を得られることはわかります。

では、その先はどうすればよいのでしょうか？

つまり、動画ファイルに対して検知した情報をもとに、
動画再生の頭出しや、バウンディングボックスの追加など、諸々動画ファイル
への加工を行いたいです。
動画ファイルへの加工は3rdパーティー製品に任せたいと思っています。

しかし調べても足がかりとなる情報がなく困っております。
恐れ入りますが、なにかヒントとなる情報があればお伺いできませんでしょうか？

Answer 1

（G検定ではなく）E資格という高い目標に対して一歩を歩み始めたところと思います。取得に向け頑張ってください。

Pythonで画像を扱うとき、よく使われるのはOpenCVです。

OpenCVでできることは大方以下のものになります。

• カメラや動画から画像を切り出す
• 画像を書き出したり表示する
• 画像に文字を記入したり線を記入したり色を変えたりする
• 画像に対して閾値処理をしたり、画像から図形を探したりする

箱の描画はcv2.drawContours()でできますし、ラベルの表示はcv2.putText()、動画の読み出し関連やカメラ関連はcv2.VideoCapture()に入っています。動画の書き出しはcv2.VideoWriter()関連で普通に困らないくらいの書き出しはできると思います。

ちょっと古いバージョンかもしれませんが日本語チュートリアルが参考になると思います。新しいものは英語の方が良いと思います。

参考：最近のOpenCVは標準で深層学習（重みデータを流用して推論する部分だけかもしれません）も対応しているそうです。

不明な点がありましたらお知らせください。

Comments

[ShinjiTakii]

大変ありがとうございます！
OpenCVの紹介を読み始めていますが、色々と疑問が紐解けています。

もし差し支えなければ、普段使われていたり、動画検知のプロジェクトを推進する上で知っておくべき動画再生ソフトがあればお伺いできますでしょうか？

[退会済みユーザー]

動画で何かを検知させようとすると、古い手法の物体検出であっても深層学習による画像認識であっても、「画像データそのもの」と「ラベル（座標、何が等）」の教師データのセットが必要になります。こういうのをそろえる道具を「アノテーションツール」と呼んでいます。その先にある学習で使うフレームワーク（例えばYOLOだったり別のものだったり）で使いやすい形式で教師データを用意できるソフトを使ったらよいと思います。だいたいgithubにおいてあるフレームワークでは、デフォルトで「○○データセットを使います」と表示されていますので、自前で”○○データセット”を再現できるアノテーションツールを探すことになると思います。

（動画の再生ソフトに関しては何でもよいと思います。）