ニューラルネットワークの技術的な大きさの限界

概要

純粋な質問なのですか現在のコンピュータの性能上ニューラルネットワークの大きさの限界はどのくらいになるのでしょうか？

具体的な質問にすると
0. GTX1050程度の一般的なレベルのGPUで入出力含め5層のオートエンコーダの場合入力の量はいくつくらいが限界でしょうか？
0. 高性能なコンピュータで限界と言えるような大きさを教えて下さい

行動規範の内容に同意します

回答1件

ベストアンサー

「どんなに遅くても動けばいい」という話なら限界はたぶんありませんが、脇に置きます。

まず考えるべきは記憶領域の制約です。GPUのメモリに重み行列が乗り切らないときついからです。

8GBのGPUメモリで、float32でやったとして単純計算で20億のパラメータを持てることになります。推論だけならたぶんできるでしょう。
（もちろん相応の時間はかかりますが、最近のGPUはコンシューマ向けでもTFLOPS単位の計算速度が出ますので、なんとかなるでしょう。また、色々なオーバーヘッドで実際には数%～数割の損失があるため20億パラメータからその分差し引かないといけないのですが、無視します）

学習をやりたい場合は、バッチ学習を使うなら（使うと思います）中間情報を保持しないといけないので、素直にやると上より10～100倍くらいは見ておかないといけません。実際にコンシューマ向けGPU一機で学習させるなら、1億パラメータ前後が上限として妥当なところでしょう。VGG16がちょうどそれくらいです。
（「学習の計算ができる」というだけで、実際に膨大なデータを流し込んで性能が出るところまで持っていくのはそこそこ大変なので、ファインチューニングをおすすめします）

（参考）：NNの学習で必要なGPUメモリを算出する | リーマンエンジニアのブログ

一機のGPUでやる限り、メモリがそんなに多くないので、超高級GPUでも上で書いたのとさほど事情は変わりません。32GBのTeslaはありますがそれくらいが上限です。

一台のマシンに複数台GPUを挿して連携させれば比例して増えはしますが、数倍が限界です。ということでマシンをまたいで学習させることになります。

この場合はマシンの間の通信がボトルネックになり、普通にやると投入リソースに比して劣った成果しか得られません。並列処理に昔から付きまとう問題です。

また、これまではあえて触れてきませんでしたが「学習どうするんだよ」という問題もあります。モデルが複雑ならそれだけ過学習したり汎化性能を得るのが難しかったりする訳です。うまく学習させられるテクニックとかモデルの構造を開発する、あるいはとにかく大量のデータを流し込んでなんとかするといったアプローチが考えられますが、前者は技術の進展が必要ですし、後者はそれこそ信じがたいほど大量データと大量の計算が必要になり、なかなかうまくは行きません。

実際は、現時点で「巨大」と言われるモデルでも10億パラメータ程度であり、これ以上のスケールのモデルを学習させるためにはモデルの構造やアルゴリズムの面での工夫が必要不可欠です。というかそれくらいが「最先端」で、その先は研究として模索されているくらいの分野になります。いずれできるようになることは期待していいのですが、現状だとそれくらいが技術的な大きさの限界と言っていいかもしれません。

mtnk_JHPCN-Sympo11th_20190606

投稿2020/03/14 11:03

編集2020/03/14 11:07