Kerasの変分オートエンコーダ(VAE)サンプルコードの損失関数につい

Question

変分オートエンコーダ(VAE)の実装にて、Kerasのサンプルコード(https://keras.io/examples/variational_autoencoder/)を利用したいと思ったのですが、
損失関数の部分の条件分岐が理解できません。
平均二乗誤差と交差エントロピー誤差をどう使い分けているのでしょうか。

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    help_ = "Load h5 model trained weights"
    parser.add_argument("-w", "--weights", help=help_)
    help_ = "Use mse loss instead of binary cross entropy (default)"
    parser.add_argument("-m",
                        "--mse",
                        help=help_, action='store_true')
    args = parser.parse_args()
    models = (encoder, decoder)
    data = (x_test, y_test)

    # VAE loss = mse_loss or xent_loss + kl_loss
    if args.mse:
        reconstruction_loss = mse(inputs, outputs)
    else:
        reconstruction_loss = binary_crossentropy(inputs,
                                                  outputs)

    reconstruction_loss *= original_dim
    kl_loss = 1 + z_log_var - K.square(z_mean) - K.exp(z_log_var)
    kl_loss = K.sum(kl_loss, axis=-1)
    kl_loss *= -0.5
    vae_loss = K.mean(reconstruction_loss + kl_loss)
    vae.add_loss(vae_loss)
    vae.compile(optimizer='adam')
    vae.summary()
    plot_model(vae,
               to_file='vae_mlp.png',
               show_shapes=True)

    if args.weights:
        vae.load_weights(args.weights)
    else:
        # train the autoencoder
        vae.fit(x_train,
                epochs=epochs,
                batch_size=batch_size,
                validation_data=(x_test, None))
        vae.save_weights('vae_mlp_mnist.h5')

    plot_results(models,
                 data,
                 batch_size=batch_size,
                 model_name="vae_mlp")

Answer 1

reconstruction_lossは再構成誤差の事で、ネットワークの入力データと出力データを一致させるための損失関数です。

この損失関数には、平均二乗誤差もしくは交差エントロピー誤差を使う場合があります。

平均二乗誤差の場合

この場合はデータの再構成を回帰問題としてとらえて、素朴に入力と出力の各ピクセルごとに2乗誤差を計算し、
これを最小にしようとすることで再構成を行います。

交差エントロピー誤差の場合

この損失関数を用いる場合は、入力と出力のかくピクセル値を01の値に変換し、それぞれの値がベルヌーイ分布であると仮定している場合です。
つまりこの時の各ピクセル値（01）は、そのピクセルが黒（もしくは白）である確率を表していると仮定しています。

どちらの損失関数の方がふさわしいかは学習に用いるデータにも依存すると思うので、一度どちらも試してみてはいかがでしょうか。
交差エントロピーを用いる場合は入力と出力の各ピクセルが0~1の値になるよう調整してあげましょう。
参考になれば幸いです。

Comments

[tska]

ご回答ありがとうございます。
このサンプルコードをそのまま動かすと、どちらの損失関数が使われるようになっているのでしょうか。
```
parser = argparse.ArgumentParser()
help_ = "Load h5 model trained weights"
parser.add_argument("-w", "--weights", help=help_)
help_ = "Use mse loss instead of binary cross entropy (default)"
parser.add_argument("-m",
"--mse",
help=help_, action='store_true')
args = parser.parse_args()
models = (encoder, decoder)
data = (x_test, y_test)
```
の内容がわかりません、、、

[tkymtmt]

そのコードでは、python のargparseというモジュールを使ってコマンドラインオプションを受け取っています。
つまり、平均二乗誤差を使いたければそのpython ファイルを実行する際に、python hogehoge.py --mseというようにオプションをつけて実行してみましょう。
オプションをつけない場合、デフォルトで交差エントロピーが採用されるようです。

argparseモジュールについてくわしく知りたければ公式サイト(https://docs.python.org/ja/3/howto/argparse.html)を参照してみてください。

[tska]

ご親切にとてもわかりやすい回答ありがとうございます。
理解できました。