深層学習：DNN応用時の実行速度

Question

自分のこれまで深層学習に関する知識と感覚だと、訓練・学習時間が超長く、GPUを多量必要としますが、
もしかして、これは単に『訓練・学習』段階の話で、
実際応用段階では(一枚の画像を認識する時に)非常に早いでしょうか。
----例えば、GPUはもう要らないとか。

宜しくお願い致します。

Answer 1

一枚の画像を認識するというのは順伝播を一回やるということと同じです。
学習時には順伝播、逆伝播を何百、何千epochとやることを考えれば、確かに予測（認識）は相対的にかなり高速にできます。
が、大規模な行列演算をやる必要があることには変わりなく、予測はproductで走りますからここの効率はとてもシビアな問題です（イニシャルコスト・ランニングコストに響いてくる）。
CPUでやるよりGPUでやった方が安上がりだから使うのでしょうし、「GPUはもう要らない」という事態は発生しないかと（ただし「GPUなんかない貧弱な環境で走らせたい」というニーズは、それなりにあるでしょうね）。

参考：
NVIDIA、ディープラーニング推論の能力をハイパースケール データセンターに拡大|NVIDIA
推論（予測）でもCPUの190倍を主張していますね。

Comments

[leilei]

>> NVIDIA、ディープラーニング推論の能力....

ここの"推論"というのは『予測』/『認識』の意味ですか。
勉強になりました。

Answer 2

画像中の物体検出を行うR-CNN系列, YOLO, SSDを触ったことがあるのですが、カメラの動画像をリアルタイム(10fps〜30fps程度)で処理するためにはGPUは必須ですね。推論フェーズが速く回るよう様々な工夫がなされてきている中でのお話です。

Comments

[insecticide]

4年前の話題ですけれども、今も指針ですね。

Answer 3

用途によります。

オブジェクト検出をリアルタイムでフレームレート30で行うのであればGPUはほしいでしょう。
http://ensekitt.hatenablog.com/entry/2018/02/27/200000

次郎ラーメンボットのバックエンド用ならRaspberryPiでも行けそうです。
https://www.slideshare.net/knjcode/large-scale-jirou-classification

Comments

[oookabe]

面白い記事有難うございます。

[oookabe]

>> リアルタイムでフレームレート30で行うのであれば
通常要求されるでしょう。
GPUはやはり必要不可欠ですね。