[CNN]全結合層の次元数について

Question

全結合層の次元数について

例えばあるCNNを構築して，Global Average Pooling層やflatten層を通した後の特徴量の次元数が256次元だったとします．
一般的には得られた特徴量をすぐに出力層に通したり，あるいは，
複数の全結合層で特徴量の次元数を削減した後に出力層に通します．

ここで質問なのですが，
得られた256次元の特徴量を複数の全結合層に通すときに，
次元数を削減するのではなく，次元数を拡張し（256次元から512次元に次元数を上げる），
その後，出力層に通す意味はあるのでしょうか？

私の考えなのですが全結合層を通して次元数を削減することで，
冗長な特徴量を除外し特徴選択ができると考えているのですが，
全結合層で特徴量の次元数を上げる意味があるのであればお教えください．

（256次元は例として挙げただけなので次元数については特に意味はないです．）

Answer 1

GAPは次元削減に一役買ってくれますが、それと引き換えに、学習のスピードがかなり遅くなります。(経験上)
mnistの学習において、cnn+全結合と比較すると、収束するまで体感的に10倍ぐらい差はあります。

適度に次元を拡張する事で、素早く学習する事が出来ます。