タイタニックの生存率をtensorflowのディープラーニングで学習するときコストがnanになる

Question

タイタニックの生存率をtensorflowのディープラーニングで予測しようとして、その前に学習させようとしたら、コストがnanになってしまいます。
出力は、生存、非生存の2つなので2クラスにしています。
プレディクションはsoftmax、コストはクロスエントロピーです。
その部分のプログラムは、次のとおりです。

def multilayer_perceptron(x, weights, biases):
layer_1 = tf.add(tf.matmul(x, weights['h1']), biases['b1'])
layer_1 = tf.nn.relu(layer_1)
layer_2 = tf.add(tf.matmul(layer_1, weights['h2']), biases['b2'])
layer_2 = tf.nn.relu(layer_2)
out_layer = tf.matmul(layer_2, weights['out']) + biases['out']
return out_layer

weights = {
'h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
'out': tf.Variable(tf.random_normal([n_hidden_2, n_classes]))
}
biases = {
'b1': tf.Variable(tf.random_normal([n_hidden_1])),
'b2': tf.Variable(tf.random_normal([n_hidden_2])),
'out': tf.Variable(tf.random_normal([n_classes]))
}

pred = tf.nn.softmax(out_layer)
cost = -tf.reduce_sum(y * tf.log(pred))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)

やはり、生存・非生存は1クラスにすべきでしょうか。
それとも別の問題があるのでしょうか。
よろしくお願いします。

Comments

[mkgrei]

コードを```で囲ってください。

[R.Shigemori]

本来、予測時は学習済みモデルを使って識別するだけなので、コスト計算は不要なはずです。よって、予測のコードがおかしい可能性があります。「予測時」が誤記で「学習時」なら上記の範囲で構いません

[good_morning]

大変申し訳ありません。説明不足でした。修正しましたので、ご確認ください。

Answer 1

まず、nanが発生する個所を切り分けないと原因を突き止めることができません。
したがって、何回目の学習でnanが発生するのか？、costの計算に至る過程のどこで発生するのか？を確認するためのコードを埋め込んで結果を確認しましょう。softmaxの計算式からするとout_layerがゼロまたはオーバーフローしている可能性が高いので、layer_1とlayer_2の推移も確認しましょう

Comments

[good_morning]

ありがとうございます。
本日確認します。

[good_morning]

確認したところ、costの計算を、
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=out_layer))

とすればよいことがわかりました。
ありがとうございました。

[good_morning]

お陰様で、Accuracy: 0.61538464になりました。