全結合レイヤーの出力次元数決定方法を知りたい

Question

質問したいこと

Tensorflowのチュートリアルをやっています。
チュートリアルは隠れ層で全結合レイヤー(Dense)を使用してい出力次元数を512に設定しています。
ここでなぜ512なのか分かりません。
何か理由がありましたら教えてください。

該当のソースコード

import tensorflow as tf
mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(x_train, y_train, epochs=5)
model.evaluate(x_test, y_test)

参考URL

Tensorflow tutorial

Answer 1

入力層は特徴量の数に、出力層はラベルの種類に合わせないといけないので制約がありますが、中間層（そのコードで512の部分）は基本的には好きなノード数にできます。なので、256でも1024でも動きます。

性能的にどうなるかはやってみないとわからない世界です。ぜひ試してみてください。

普通は入力層より少ないユニット数で、数分の一くらい程度にすることが多いと思います。MNISTをflattenすると784次元のベクトルになるので、512だと少し多めな傾向かもしれません。

Comments

[background]

なるほどありがとうございます。
明確な理由は無いということですね