分類問題におけるDropoutの効果について

Question

研究でCNNを用いた多クラス分類問題を扱っているのですが、
論文に理論を書く際にDropoutについての説明が違うと言われ困っています。

Dropoutを行うことで訓練データが提示される度にユニットの出力をランダムで0にするので訓練データ提示のたびにネットワーク構造が代わり、それらのネットワーク出力の平均が最終的な出力になることからアンサンブル学習のような効果が得られるため汎化性能が高まる。

といったように理解していたのですが、実際には1つのネットワークに対して出力の平均を出すことはできないのでアンサンブル学習を用いた説明はできないとのことで現在は、多クラス分類におけるDropoutの効果を説明するように求められ、

学習時に一部のユニットのみを用いて出力を計算し、重みを更新することで、一部の重みでも正しい出力を出せるように学習が行われることが非常に重要であること。
分類問題においてはクラスに属する全ての訓練データに共通する部分を学習できること。

以上の２点がDropoutにおける重要な効果であり、その理由を説明するように求められ勉強を続けていますが、一向に理解が及びません...

情報があればご教授お願いします。

Answer 1

指摘されたことは理解が違っているのではなく、「アンサンブル学習のような」の一語で表現せず、なぜアンサンブル学習のようなやり方だと性能が上がるのか説明しろ、ということではないかと思います。（ある概念を説明するときに別の概念を使われると説明を受ける側が困るので）
もし手元にあれば「深層学習 (機械学習プロフェッショナルシリーズ)」の説明やこの本の中で引用されている論文（Srivastava, Nitish, et al. "Dropout: a simple way to prevent neural networks from overfitting." The journal of machine learning research 15.1 (2014): 1929-1958.）での説明を参考にしてみてはいかがでしょうか。

Comments

[misaki-singo]

回答ありがとうございます。確かに別の概念での説明は受け取る側が難しいですよね。現在では

「実際には1つのネットワークに対して出力の平均を出すことはできないのでアンサンブル学習を用いた説明はできない」

とのことでアンサンブル学習のようなやり方の説明をしてもDropoutの説明はできないということで別の点から考えるようにしています......

[AkiFuku]

そうですね、確かに結果的に似たような性質を持ったというだけで「出力の平均を出す」にあたる機能が実装されているわけではないので出力の平均と言ってしまうと誤解が生じそうです。
指摘を受けた2点では全ての訓練データの共通する部分（特徴）をより少ないユニット数で効率よく表現できるよう学習できるのが重要だということなので、そこを丁寧に説明すればいいような気がします。それと余裕があれば過学習を抑えることあたりも。大変でしょうが頑張ってください。

[misaki-singo]

再度の返信ありがとうございます。
正直分類に対してDropoutが何故特別な役割を持つのか皆目検討もつきませんが頑張ります。