Kerasを用いたmodelのハイパーパラメータについて

Question

kerasなどを用いたmodelのハイパーパラメータについての質問です。CNNなどやLSTMを構築して来たのですがどれも根拠なくDropoutやbatchnormalizationなどを入れたりして毎回精度が良くなったものを構築しているのですが、これはほばほぼ総当りするしかないのでしょうか？
アルゴリズムを用いてチューニングする方法もあるとは思うのですがこれも総当たりな気がします…

これは経験があればで良いのですが、機械学習などを通して統計学が必要になった際にどのような勉強をしていたかお聞かせください

Answer 1

過学習を緩和するためにノード数を減らしたり、ドロップアウト・正則化を入れたりします。
画像などであれば典型的なサイズに合わせるように畳み込みのカーネルサイズを調整したします。

でもハイパーパラメータは非線形の最適化なので、一番合理的なのはグリッドをはって総当たりすることです。

https://shiropen.com/2017/11/03/29235

---

統計学は機械学習と違ってしっかりした学問なので、ちゃんと本を買って勉強したほうがいいと思います。