DNNの基本構造を選択方法について

Question

DNNのメタパラメーター：
各CNN層の層数や最後の全連結NNの層数、及び各層上のユニット数の選択は
画像画素数、分類のカテゴリ数、訓練データ数の間とは何等かの基本関係あれば、
教えていただきたいですけれども。
要はどうやってDNNの基本構造を確定するのでしょうか。

Answer 1

これからはいくつか典型な問題ソリューションとしてのDNNは設計や最適化について
AIでかなり自動的にやってくれると思いますよ！

<<I have a dream ----DNNでDNNの構造を決める>>

さもなければ、、、過労死が続々
しなくても、時間的にもったいない。

Answer 2

とりあえず、常識的なところから書くと、
入力層はピクセル数と対応させないと困るでしょう。RGBデータならピクセル数*3とか。
また、出力層はクラス数にしてsofmaxを活性化関数に使い、one-hot encodingを教師データとして学習させて確率で出力を得るということがよく行われます。他の方法でもできなくはないんですが（1000クラスあったら0～999の1つの数字に対応させるとか。性能で劣るし確率で出ないので損）。
で、中間層についてはケースバイケースというか、「わからん」というか、ぶっちゃけ最新の研究分野なので・・・
alexnetみたいに（今から見ると）小規模なものから、resnetのように千層もある奴とか、色々ピンキリです。構成ごとにうまく学習させるノウハウなんかも違ってくるはずで、既存の定性的な知見だったりやる前から予想できることだったりを考えながら試行錯誤して作るのでは？
裏を返せば、常識的に考えてあまりにも変な構成（強烈な畳込みで一気に落とし過ぎちゃうとか、ひたすらpoolingしまくるとか）にしなければ、そこそこの結果は出るということなのかもしれません・・・。

Comments

[IS.SEKI]

えーーそうなの？！
相当きつそう、、、
神業？　プロの勘、、、そういう世界？
もはや科学や技術分野外ですよね。。。