Dropoutは層として数えますか？

Question

Dropoutは層として数えるのか

たとえば、

  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation=tf.nn.softmax)

この場合4層のNNと言いますか？それとも3層のNNなのでしょうか...
コードではkeras.layerとしているので層なのかなと思っています。
Dropout自体、上記の場合だと2割の出力を0にして流す操作になり、ノード数自体は変わらないので層として捉えるものなのかどうか、教えていただきたいです。

Answer 1

Dropout自体、上記の場合だと2割の出力を0にして流す操作になり、ノード数自体は変わらないので層として捉えるものなのかどうか、教えていただきたいです。

ドロップアウト自体は学習時にある層のニューロンのいくつかをランダムに脱落させる (使わない) という仕組みなので、層というよりは、層に適用する設定になります。なので、質問の例では、3層のNNとなります。

しかし、多くのディープラーニングフレームワークでは「入力のいくつかを0に置き換える層」としてドロップアウトを実装しているので、ライブラリの実装上はドロップアウトも1つの層と数えます。