分類問題の場合の中間層の数を決める指標について

Question

前提・実現したいこと

中間層の数の決定方法、もしくはヒントを知りたいです。

発生している問題・エラーメッセージ

現在、ニューラルネットワークで分類問題を解いておりますが、『なんとなく作った中間層で、なんとなく解いて、正答率がいいものを採用する』と言う事をしてしまっています。

試したこと

ネットで調べて、画像認識の場合は中間層の決め方に大まかなルールがあることがわかりました。
ですが、回帰問題と、分類問題の決め方は分かりませんでした。

###最後に

大雑把な質問で申し訳ございませんが、ご知力いただけますと幸いでございます。

Answer 1

下記の29〜41ページが参考になるかもしれません
深層学習の数理

Comments

[toast-uz]

確かに、Optunaをかけると、「層は浅いけど次元数は多い」「層は深いけど次元数は少ない」という2方向の最適化結果がでやすいですね（「層は深く次元数も多い」というモデルが一番表現力はあるのですが、やりすぎなので、学習がしにくくなるものと思われます）。参考になります。

[TakoyakiOishii]

ありがとうございます。情報をまとめるのに、時間がかかってますので、お待ちいただけますと幸いです。

Answer 2

『なんとなく作った中間層で、なんとなく解いて、正答率がいいものを採用する』で合っています。

これは、本質的には画像認識の場合も変わりません。「画像認識の場合は中間層の決め方に大まかなルールがある」と感じられるのは、画像認識の場合、『他の人が作ったモデル（および作り方）で、正答率がいいものがいろいろ出回っている』ということが、比較的進んでいるだけです。

『なんとなく作った中間層で、なんとなく解いて、正答率がいいものを採用する』は、もっと広い概念として「ハイパーパラメータ最適化」という立派な名前がついています。最近は、この「ハイパーパラメータ最適化」を人力で行うのではなく、プログラムにやらせる、という分野が進化しています。

画像認識にも使えますが、質問者様のご質問にあわせて、画像認識ではない問題で「ハイパーパラメータ最適化」をしている例をご紹介します。

Kerasで書いたDLモデルをOptunaでハイパーパラメータ最適化

コードを読めばわかりますが、線形モデルの中間層の数や中間層のチャネル数をハイパーパラメータとして変更可能な形にモデルを作り、それを最適化しています。このやり方の延長で、活性化層をどう入れるかとか、Dropoutをどう入れるかとか、いろいろな要素をハイパーパラメータとして、一気に最適化することが可能です。

Comments

[TakoyakiOishii]

ありがとうございます。情報をまとめるのに、時間がかかってますので、お待ちいただけますと幸いです。

[TakoyakiOishii]

すいません、色々試行錯誤してたら遅れてしまいました。

>>『なんとなく作った中間層で、なんとなく解いて、正答率がいいものを採用する』で合っています。
ありがとうございます。これを聞いて安心しました。

>>質問者様のご質問にあわせて、画像認識ではない問題で「ハイパーパラメータ最適化」をしている例をご紹介します。
ありがとうございます。とても助かりました。実際に、optunaを使って、kerasでハイパーパラメータの調整を行ってきました。やってみて分かったことですが、これかなり凄いですね！ただ、どうしても目的の値になろうとするため過学習気味になってしまうので、やはりそこらへんは頑張って調整すると言うことでしょうか？
また、今回の質問もご丁寧にご回答いただきましてありがとうございます。

[toast-uz]

過学習については、ご理解の通りですね。ただし、通常の過学習が、「train_lossが最適化されつつ、val_lossが最適化されない」という状態に陥るのに対して、ハイパーパラメータ最適化時の過学習は、「train_loss、val_lossが最適化されつつ、推論時のtest_lossが最適化されない」という状態になります。optunaとかのツールはval_lossが最適化されるように使いますので。

この類（ハイパーパラメータ最適化を前提とした）の過学習の解消ノウハウってあまり出回っていないように感じます。私としては、層の調整をする前に、しっかりと特徴量エンジニアリングをする対処をしています。なお特徴量エンジニアリングに際しては、可能性ある特徴量を大量に定義して、１つ１つの特徴の有効・無効を切り替えるbool値を一種のハイパーパラメータと見立てて、optunaのsuggest_categoricalで最適化する、ということをやっています。こうやって、まず特徴量選択を最適化しておくと、過学習になりにくいように感じます。

[TakoyakiOishii]

ありがとうございます。
また、toast-uz様のご経験に沿った内容をご提案くださり大変感謝しております。

>>なお特徴量エンジニアリングに際しては、可能性ある特徴量を大量に定義して、１つ１つの特徴の有効・無効を切り替えるbool値を一種のハイパーパラメータと見立てて、optunaのsuggest_categoricalで最適化する、ということをやっています
こちら、目から鱗でした。大変ためになるお話ありがとうございます。
ベストアンサーとさせていただきます。