keras-yolo3を使った動画の物体検出がすごく遅い。。

Question

以下のような環境で動画の物体検知を実行したのですが、すごく遅いのです。
検知はしているものの、カクカクと1秒1コマぐらいごとに検知しているようです。
YOLO自体が遅いのでしょうか？
それとも環境に問題があるのでしょうか？（GPUを使用しています）

アドバイス頂ければ助かります。

win10
I7-7700(32G)　Geforce gtx1050(4G)
keras 2.2.4
pyhon 3.7.3
tensorflow-gpu 1.14.0

YOLOv3 weightsをKerasモデルのyolo.h5ファイルに変換
python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5
動画サイズ　4mbyte

Answer 1

検知はしているものの、カクカクと1秒1コマぐらいごとに検知しているようです。YOLO自体が遅いのでしょうか？

YOLOv3 自体重たいモデルであるということと、keras 実装版の YOLOv3 は本家の darknet より遅いです。
以前試した際は Pascal Titan X で 30FPS ぐらいしかでなかったので、GTX1050Ti だと5FPSぐらいしかでないのではないでしょうか。

なので、遅いのはやり方が間違っている等ではなくて、GPU の性能の問題と思います。

以下、3D Mark のベンチ結果です。3D グラフィクスと Deep Learning に求められる演算は多少異なるので参考までに。

Comments

[python_2019]

ご回答ありがとうございます。
結局、GPUの性能を上げなければ速くならないということなんですね。
これくらいのスペックでリアルタイム検知をスムーズに行う手段はないのでしょうか？
他手法（たとえばSSDなど）でも同じなのでしょうか？
よろしくお願いいたします。

[tiitoi]

リアルタイムがどのぐらいの FPS を指すのかにもよります。例えば、カメラの FPS が30 FPS だとしても毎フレーム検出を行うのではなく、数フレームに1回だけ検出を行うようにすることで、動画はカクつかないようにすることも考えられます。
またモデル自体を軽くする方向で考えるには、モデルの入力解像度を小さくするとか、SSD-MobileNet など YOLOv3 より軽いモデルを使うという手もあるでしょう。

[python_2019]

ご回答ありがとうございます。
今、SSDで実行しても遅いことが確認できました。
一度、SSD-MobileNet を検討してみたいと思います。

[python_2019]

追加でお教えください。
https://qiita.com/PonDad/items/6f9e6d9397951cadc6be
こちらのサイトの中ほどの記述で、高速リアルタイム物体検出を実現されているようです。
スペック的にさほど高くないのですが、「メソッド名を変更」することで実現されたようです。
この再ナイト内のリンク先のgithubを見てもよく理解できません。
https://github.com/rykov8/ssd_keras/issues/60
どのように修正されたのでしょうか？
もし何かアドバイス頂戴できれば幸いです。
よろしくお願いいたします。

[tiitoi]

Qitta を拝見しましたが、追記のところは、記事を執筆したときに試した GPU とは条件が違います。
3FPS が 20FPS ぐらいでたのは、単に性能が高い GPU を使ったからです。
issue のリンクは記事のコメント欄でやり取りされてるエラーを解消するための修正ですので、高速化とは関係ありません。

以下、記事から関連する部分抜粋
```
> メインPCをMacからWindowsに変えたので改めて試してみました。
> GeForce® GTX 1080 Ti
> iMacのGPUで2〜3FPSだったのですが、20FPS位とほぼリアルタイムに物体検出が出来ています。
```

1080Ti は一世代前の GPU の中では Pascal Titan X とほぼ同等の性能の GPU ですので、それぐらい性能が出てもおかしくないです。

[python_2019]

これも高性能のGPUを使ったからなのですね。
ＰＣの買い替えも含めて高速化を検討したいと思います。
（できれば、今のＰＣで高速化したい...）

貴重なアドバイス
どうもありがとうございました。

[tiitoi]

ノートパソコンまたは一体型 PC でなく、ミドルタワーのケースであれば、PC を買い換えなくても GPU だけ買って差し替えることもできると思います。
電源容量が足りるかやマザボが対応してるか等は事前に確認する必要はありますが。

あとは推論だけであれば、先程紹介した MobileNet-SSD のように軽いモデルを使えばもう少し FPS は出ると思います。近年、スマホなどエッジでも動く軽いモデルというのもいろいろ開発されてはきてるので。
学習まで行うのであれば、どのみち性能がいい GPU がないと時間がかかってしまうので厳しいとは思います。

[python_2019]

今はノートパソコンなので、今後のことを考えてボード差し替えが可能なミドルタワーを検討したいと思います。
電源容量やマザボについてはよく留意したいと思います。
いろいろ多岐にわたり貴重なアドバイス、どうもありがとうございました。