少ないデータで学習したい！

Question

pythonでニューラルネットワークに色々なことを予測させるということをしています。
データの収集が大変で数百個ほどしか集めることができません。
少ないデータでも過学習を起こさず、かつ特徴を捉えてくれるようなニューラルネットワークの最適化手法やニューラルネットワークのモデルの構築のコツなどがあれば教えていただきたいです。
バカみたいな質問ですみません。

Answer 1

学習済み公開モデルを用いて
転移学習するのが
一番、実績のある方法ではないでしょうか。

Answer 2

まず本当にニューラルネットが必要なのか？　というところからでしょう。

極端な話、線形判別分析、重回帰でもできるタスクという可能性もあります。集計データ、頻度データなどに対する判別や回帰であれば、一般にSVMやランダムフォレストが十分な性能を発揮します。たとえ画像処理だったとしても、古典的なBag of Featuresで扱えるかもしれません。

ニューラルネットは複雑性の高いモデルであり（ユニット数や層の数にもよりますが）、使わないで済むような場合は使わないアプローチの方が高い性能を確保できることが多いです。特にデータ数が少ない場合は、大して当てにならないので代替手段を探るというのも必要なことだと思います。