質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.53%

tensorflowの入力ユニット数と出力ユニット数の制限について

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 1,340

good_morning

score 42

現在、tensorflowを使って靴のサイズの分類をしています。
靴のサイズは全部で9分類になりますが、入力データは6種類しかありません。
従いまして、入力ユニット数が9でと出力ユニット数が6になります。

この条件でtensorflowの分類器を作成してデータを与えて実行したところ、出力が次のようになってしまいます。

Step: 0, Accuracy: 0.222222, Loss: nan
Step: 10, Accuracy: 0.000000, Loss: nan
Step: 20, Accuracy: 0.000000, Loss: nan
Step: 30, Accuracy: 0.000000, Loss: nan
Step: 40, Accuracy: 0.000000, Loss: nan
Step: 50, Accuracy: 0.000000, Loss: nan
Step: 60, Accuracy: 0.000000, Loss: nan
Step: 70, Accuracy: 0.000000, Loss: nan
Step: 80, Accuracy: 0.000000, Loss: nan
Step: 90, Accuracy: 0.000000, Loss: nan
Step: 100, Accuracy: 0.000000, Loss: nan

他に問題らしいところが見当たりません。
よろしくお願いします。

環境は次のとおりです。

ubuntu16.04
anaconda3
python3.6
tensorflow1.2.1

コードは以下の通りです。
ただし、いろいろいじっているので他のエラーを起こすかもしれません。

 データのインポート

import tensorflow as tf
import numpy as np
import pandas as pd

def train_read():
df1 = pd.read_csv("x_train.csv")
df2 = pd.read_csv("y_train.csv")
x_ = df1.iloc[:, 0:6].as_matrix()
y_ = df2.iloc[:, 0:9].as_matrix()
return x_,y_

train_x, train_y = train_read()
print(np.shape(train_x))
print(np.shape(train_y))

def test_read():
df1 = pd.read_csv("x_test.csv")
df2 = pd.read_csv("y_test.csv")
x_ = df1.iloc[:, 0:6].as_matrix()
y_ = df2.iloc[:, 0:9].as_matrix()
return x_,y_

test_x,test_y = test_read()
print(np.shape(test_x))
print(np.shape(test_y))

 モデルの作成

x = tf.placeholder(tf.float32, [None, 6])
w = tf.Variable(tf.zeros([6, 9]))
b = tf.Variable(tf.zeros([9]))
y = tf.nn.softmax(tf.matmul(x, w) + b)

 損失とオプティマイザーを定義

y_ = tf.placeholder(tf.float32, [None, 9])
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

 精度

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

 訓練

sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver = tf.train.Saver()

for i in range(101):
sess.run(train_step, feed_dict={x: train_x, y_: train_y})
if i % 10 == 0:
acc, cost = sess.run([accuracy, cross_entropy], feed_dict={x: test_x, y_: test_y})
print('Step: %d, Accuracy: %f, Loss: %f' % (i, acc, cost))

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mkgrei

    2018/03/28 16:10

    コードがないのでなんとも言えませんが、問題は間違いなくありますね。コードがないことには…

    キャンセル

  • hayataka2049

    2018/03/28 17:07

    >サイズは全部で9分類 なら、出力ユニット数9とし、入力は特徴量の次元数になるんだと思いますが・・・

    キャンセル

  • good_morning

    2018/03/28 18:49

    特徴量の次元が6です。つまり、6種類の靴の長さに対する幅の広さになります。それで靴幅(A,B,C,D,E,2E,3E,4E,F)を予測しています。

    キャンセル

  • hayataka2049

    2018/03/28 19:00

    入力は6データ6次元(one-hot表現)、出力は9データ9次元(one-hot表現)ということですか? 質問文に書いてあることともまた変わってきますが・・・。とりあえずどちらにせよ、上の方も仰られてるようにコードがないことにはよくわからないので、追記して頂かないと回答はできないです

    キャンセル

回答 3

checkベストアンサー

+2

lossが安定していないのが問題のようです。

softmax、crossentropy、logitsでは数値的な不安定性が知られています。
そして、それをケアしてくれるメソッドがあります。
https://stackoverflow.com/questions/34240703/whats-the-difference-between-softmax-and-softmax-cross-entropy-with-logits

こちらを先にお試しになって、1つの可能性を潰してみてはいかがでしょうか?


それでも安定しないのなら、クリッピングしたり…

https://stackoverflow.com/questions/39583752/nan-from-sparse-softmax-cross-entropy-with-logits-in-tensorflow

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/29 08:22

    ありがとうございます。
    本日やってみます。

    キャンセル

  • 2018/03/30 10:53

    うまくいきました。
    loss=nanがなくなりました。
    要するに、log(ln)にゼロが入っていたのですね。
    ありがとうございました。

    キャンセル

+1

ちゃんと動かして確かめることはしていませんが気になる点は
wとbの初期値を0行列、0ベクトルとして良かったのでしたっけ?
平均0 分散1のガウス分布からとってくる方がよかったと思います。

# w = tf.Variable(tf.zeros([6, 9])) :修正前
# b = tf.Variable(tf.zeros([9])) :修正前
w = tf.Variable(tf.random_normal([6,9])) # :修正後
b = tf.Variable(tf.random_normal([9])) # :修正後


としてみるとどうなりますか?

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/28 21:36

    実は、それはやってみましたが結果は同じでした。

    キャンセル

  • 2018/03/28 21:46

    そうでしたか。。。あと気になるところは、これはAccuracy: 0.000000, Loss: nanになるのとは直接は関係しませんが、ニューラルネットワークの層が1層のみになっていることでしょうか。1層のみでは良い精度が出しにくいです。

    キャンセル

  • 2018/03/29 08:21

    2層にしても同じでした。

    キャンセル

+1

原因の切り分けをしないとならないので、loss=nanに至る過程を可視化したほうがいいです。とりあえず、lossの計算に至る過程を見たほうがいいので、matmul()の部分をsoftmax()から切り出して、学習過程の値の変化を確認しましょう。
コードのイメージは以下です


z=tf.matmul(x,w)+b
y=tf.nn.softmax(z)

process=[]
process.append(sess.run(略))

softmaxの計算式からすると、processのどこかでゼロまたはオーバーフローになっている可能性があるので、そこを突き止めた上のほうが対策を立てやすくなるはずです

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.53%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る