tensorflowの入力ユニット数と出力ユニット数の制限について

Question

現在、tensorflowを使って靴のサイズの分類をしています。
靴のサイズは全部で9分類になりますが、入力データは6種類しかありません。
従いまして、入力ユニット数が9でと出力ユニット数が6になります。

この条件でtensorflowの分類器を作成してデータを与えて実行したところ、出力が次のようになってしまいます。

Step: 0, Accuracy: 0.222222, Loss: nan
Step: 10, Accuracy: 0.000000, Loss: nan
Step: 20, Accuracy: 0.000000, Loss: nan
Step: 30, Accuracy: 0.000000, Loss: nan
Step: 40, Accuracy: 0.000000, Loss: nan
Step: 50, Accuracy: 0.000000, Loss: nan
Step: 60, Accuracy: 0.000000, Loss: nan
Step: 70, Accuracy: 0.000000, Loss: nan
Step: 80, Accuracy: 0.000000, Loss: nan
Step: 90, Accuracy: 0.000000, Loss: nan
Step: 100, Accuracy: 0.000000, Loss: nan

他に問題らしいところが見当たりません。
よろしくお願いします。

環境は次のとおりです。

ubuntu16.04
anaconda3
python3.6
tensorflow1.2.1

コードは以下の通りです。
ただし、いろいろいじっているので他のエラーを起こすかもしれません。

データのインポート

import tensorflow as tf
import numpy as np
import pandas as pd

def train_read():
df1 = pd.read_csv("x_train.csv")
df2 = pd.read_csv("y_train.csv")
x_ = df1.iloc[:, 0:6].as_matrix()
y_ = df2.iloc[:, 0:9].as_matrix()
return x_,y_

train_x, train_y = train_read()
print(np.shape(train_x))
print(np.shape(train_y))

def test_read():
df1 = pd.read_csv("x_test.csv")
df2 = pd.read_csv("y_test.csv")
x_ = df1.iloc[:, 0:6].as_matrix()
y_ = df2.iloc[:, 0:9].as_matrix()
return x_,y_

test_x,test_y = test_read()
print(np.shape(test_x))
print(np.shape(test_y))

モデルの作成

x = tf.placeholder(tf.float32, [None, 6])
w = tf.Variable(tf.zeros([6, 9]))
b = tf.Variable(tf.zeros([9]))
y = tf.nn.softmax(tf.matmul(x, w) + b)

損失とオプティマイザーを定義

y_ = tf.placeholder(tf.float32, [None, 9])
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

精度

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

訓練

sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver = tf.train.Saver()

for i in range(101):
sess.run(train_step, feed_dict={x: train_x, y_: train_y})
if i % 10 == 0:
acc, cost = sess.run([accuracy, cross_entropy], feed_dict={x: test_x, y_: test_y})
print('Step: %d, Accuracy: %f, Loss: %f' % (i, acc, cost))

Comments

[mkgrei]

コードがないのでなんとも言えませんが、問題は間違いなくありますね。コードがないことには…

[hayataka2049]

＞サイズは全部で9分類　なら、出力ユニット数9とし、入力は特徴量の次元数になるんだと思いますが・・・

[good_morning]

特徴量の次元が6です。つまり、6種類の靴の長さに対する幅の広さになります。それで靴幅（A,B,C,D,E,2E,3E,4E,F）を予測しています。

[hayataka2049]

入力は6データ6次元（one-hot表現）、出力は9データ9次元（one-hot表現）ということですか？　質問文に書いてあることともまた変わってきますが・・・。とりあえずどちらにせよ、上の方も仰られてるようにコードがないことにはよくわからないので、追記して頂かないと回答はできないです

Answer 1

lossが安定していないのが問題のようです。

softmax、crossentropy、logitsでは数値的な不安定性が知られています。
そして、それをケアしてくれるメソッドがあります。
https://stackoverflow.com/questions/34240703/whats-the-difference-between-softmax-and-softmax-cross-entropy-with-logits

こちらを先にお試しになって、１つの可能性を潰してみてはいかがでしょうか？

---

それでも安定しないのなら、クリッピングしたり…

https://stackoverflow.com/questions/39583752/nan-from-sparse-softmax-cross-entropy-with-logits-in-tensorflow

Comments

[good_morning]

ありがとうございます。
本日やってみます。

[good_morning]

うまくいきました。
loss=nanがなくなりました。
要するに、log(ln)にゼロが入っていたのですね。
ありがとうございました。

Answer 2

原因の切り分けをしないとならないので、loss=nanに至る過程を可視化したほうがいいです。とりあえず、lossの計算に至る過程を見たほうがいいので、matmul()の部分をsoftmax()から切り出して、学習過程の値の変化を確認しましょう。
コードのイメージは以下です

略
z=tf.matmul(x,w)+b
y=tf.nn.softmax(z)
略
process=[]
process.append(sess.run(略))

softmaxの計算式からすると、processのどこかでゼロまたはオーバーフローになっている可能性があるので、そこを突き止めた上のほうが対策を立てやすくなるはずです

Answer 3

ちゃんと動かして確かめることはしていませんが気になる点は
ｗとbの初期値を0行列、0ベクトルとして良かったのでしたっけ？
平均0 分散1のガウス分布からとってくる方がよかったと思います。

# w = tf.Variable(tf.zeros([6, 9])) :修正前
# b = tf.Variable(tf.zeros([9])) :修正前
w = tf.Variable(tf.random_normal([6,9])) # :修正後
b = tf.Variable(tf.random_normal([9])) # :修正後

としてみるとどうなりますか？

Comments

[good_morning]

実は、それはやってみましたが結果は同じでした。

[shogiOtakku]

そうでしたか。。。あと気になるところは、これはAccuracy: 0.000000, Loss: nanになるのとは直接は関係しませんが、ニューラルネットワークの層が１層のみになっていることでしょうか。１層のみでは良い精度が出しにくいです。

[good_morning]

2層にしても同じでした。