ディープラーニングのレイヤーの決め方の考え方

Question

画像認識プログラミングレシピという本で画像認識について学習中です。(keras)

この本に「今回の中間層のニューロンの数は128としましたが自由に設定できます。この部分には基準があるわけではなく、階層の数。ニューロンの数などは学習時間、効率、学習効果に影響しますのでその中で適切な組み合わせを見つけ出しましょう」

とあります。

---

①中間層を作るのに慣れている方にとって、これらの値や層の組み方はどのように決めているのでしょうか。

今の私には128→256にしたところで違いがわかりません。

---

②作った層が最適だ、と思うにはどのような確認作業があるのでしょうか。

どこが見るべき場所があるのか、確認するための作業があるのか、それとも長年の経験なのか知りたいです。

データ量が多いから学習が遅いのか、それとも自分の組み方が悪いのか、わからない時があるので知りたいです。ご回答よろしくお願いします。

Answer 1

以下に述べるのは基本的なことかも知れないので、既に存じ挙げていたら申し訳ございません.

中間層を作るのに慣れている方にとって、これらの値や層の組み方はどのように決めているのでしょうか.

モデルの最適な作り方は、アカデミックな分野に入ると思うので論文を読み込むことが必要になると思います.キーワードとしてはEfficientNetやNASなどと調べて頂けるとppaul様が欲しい情報が得られると思います.

基本的には代表的なモデルを使用することをお勧めします.from tensorflow.keras.applications import *で確認することが可能です.画像認識系ならResNetやEfficientNetが一般的です.最近ではViT, MLP-Mixer等もあります.このように、代表的なモデルを常にキャッチアップする必要があります.

作った層が最適だと思うにはどのような確認作業があるのでしょうか.

様々な確認方法があると思いますが、一般的には評価指標を設定するところから始まると思います.例えば、モデルの精度をAccuracyを用いて評価したい場合、計算時間と精度のバランスを取りたい場合など様々な評価方法があるので、その問題にあった方法で評価してみてください.因みにBestな構築方法は誰も分からないので、研究分野として成り立っていると考えて下さい.

先ほど挙げたモデル群はILSVRC(コンペティション形式の研究集会)でTop-1 AcuuracyとTop-5 Accuracyで評価されています.

Answer 2

• 今の私には128→256にしたところで違いがわかりません。

128→256ににすれば、確実に遅くなります。
良く似たものを見分けるにはノード数(ニューロン数)を増やしましょう。
似ていないものを見分けるならノード数(ニューロン数)は少なくても良いです。

• ②作った層が最適だ、と思うにはどのような確認作業があるのでしょうか。

簡単な方法はありません。
動かしてみて、学習が遅くて耐えられないなら、層数やノード数(ニューロン数)を減らすしかありません。
学習が終わって認識の精度が悪ければ、層数やノード数(ニューロン数)を増やします。
両方を満足できる結果が得られないなら高性能のコンピュータに買い換えます。
それでも足りなければ、並列コンピュータを使うしかありませんが、プログラムの並列化は大変です。
普通はあきらめて、分類を減らすとかします。

簡単に言うと、理論とかはあまりなく、職人芸の世界です。