最小二乗法 tensorflow

Question

実現したいこと

多次元関数の予測を最小二乗法を用いて行いたいと考えています。

以下のコードのようにデータは入力400に対して出力１です

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import numpy as np
import tensorflow as tf

# データの読み込み
f_data = pd.read_csv("csv/4-5/potential4-5.csv", encoding="utf-8")

# データをラベルと入力データに分離する (使うのは最後)
y_data = f_data.loc[:,["angle"]]
x_data = f_data.iloc[:, range(0,400)]
x_train, x_test, y_train, y_test = train_test_split(
                    x_data, y_data, test_size=0.2, random_state=42)



x = tf.placeholder(tf.float32, [None, 400]) #入れ物
y_ = tf.placeholder(tf.float32, [None, 1])

W = tf.Variable(tf.zeros([400, 1]))#変数
b = tf.Variable(tf.zeros([1]))

#y = W*x+b
y = tf.add(b, tf.matmul(x, W))#入れ物と変数で関数を作る

loss = tf.square(y - y_)#(y-y_)^2
losses = tf.reduce_sum(loss)#Σ(y-y_)^2
train = tf.train.AdamOptimizer().minimize(losses)

init = tf.initialize_all_variables()

sess = tf.Session()
sess.run(init)

for epoch in range(50000):
    #入れ物にデータを入れる
    sess.run(train, feed_dict={x:x_train, y_:y_train})
    if epoch % 10000 == 0:
        #入れ物にデータを入れる
        losses_val=sess.run(losses, feed_dict={x:x_train, y_:y_train})
        print(epoch,  losses_val)


"""
             pot1          pot2          pot3          pot4  ...        pot397        pot398        pot399        pot400
0    6.770000e-13  2.310000e-09  3.000000e-06  5.808920e-04  ...  2.810000e-75  5.080000e-81  5.150000e-86  7.280000e-92
1    9.620000e-13  5.120000e-09  5.540000e-06  8.867230e-04  ...  4.560000e-76  6.020000e-82  4.080000e-87  3.880000e-93
2    1.060000e-12  5.890000e-09  6.370000e-06  1.019262e-03  ...  4.560000e-76  6.020000e-82  4.080000e-87  3.880000e-93
3    5.550000e-13  1.020000e-09  1.600000e-06  3.735150e-04  ...  4.560000e-76  6.020000e-82  4.080000e-87  3.880000e-93
4    5.550000e-13  1.020000e-09  1.600000e-06  3.735150e-04  ...  4.560000e-76  6.020000e-82  4.080000e-87  3.880000e-93
..            ...           ...           ...           ...  ...           ...           ...           ...           ...
594  1.430000e-36  8.270000e-31  6.640000e-26  7.450000e-22  ...  4.720000e-09  1.360000e-12  5.510000e-17  3.120000e-22
595  4.860000e-37  2.820000e-31  2.270000e-26  2.540000e-22  ...  7.200000e-09  2.070000e-12  8.420000e-17  4.760000e-22
596  4.860000e-37  2.820000e-31  2.270000e-26  2.540000e-22  ...  5.210000e-09  1.230000e-12  4.120000e-17  1.910000e-22
597  1.630000e-37  9.440000e-32  7.580000e-27  8.510000e-23  ...  5.210000e-09  1.230000e-12  4.120000e-17  1.910000e-22
598  1.630000e-37  9.440000e-32  7.580000e-27  8.510000e-23  ...  3.630000e-09  7.070000e-13  1.940000e-17  7.380000e-23
"""

##問題
学びなおしてプログラムを組みました。
クロスエントロピーはクラス分類で使うものだったらしく間違っていたみたいです。
最小二乗法で傾きを出し、その傾きが0になるときのWを求めたいのですがこれでいいのでしょうか？

数学的に言えば誤差の2乗の和をWで偏微分したときに0になるときのWが求めたいものなのですが
tf.train.AdamOptimizer().minimize(losses)などをせずに地道に計算したほうがいいでしょうか？

Answer 1

記載のコードは2クラス識別のコードであって数値予測（回帰）ではありません。
加えていうと質問には「最小二乗でを用いて」となっていますが、コードはクロスエントロピー誤差の最小化が用いられています。

このあたりが期待した結果とならない要因と思われます

Comments

[uedayuya]

確かに数値の予測はこのコードだけではできないことはわかるのですが誤差が0の時のWに対して４００ｘ１のXをかけてあげれば予測できるのではないのでしょうか？
クロスエントロピーについてまだ理解しきれていないみたいなので学ぼうと考えていますが、reduce_sumがいけないということでしょうか？

[R.Shigemori]

編集されたコードを見た限り、問題ないと思います。実行してlossesがゼロに近づいていくような推移を示せば学習が進んでいることになります

Answer 2

x = tf.placeholder(tf.float32, [None, 400]) #任意の数(None)の400次元のデータ (None, 400)

y = tf.layers.dense(x,units=1) # (None, 1)

です。

Comments

[uedayuya]

回答者さんの教えてくださった回答をもとにプログラムを書いてみたのですが、正答率が0になってしまいます。考えられる原因は２つあり、１つ目はtf.equal(tf.abs(y), tf.abs(y_))という考え方が間違っており、別のもの同士を比較している。２つ目は、角度を出力にしており、現在０～３６０のどれか１つを出力するので出力１としているが、０と１のリスト（例えば０ならば[1,0,0,・・・,0]）に書き換えてtf.equal(tf.argmax(y,1), tf.argmax(y_,1))をするべき。のどちらかまたは両方だと考えてます。回答者さんの意見を聞かせていただきたいです。

[qax]

なぜ、yを別に生成しているのでしょう？
yは入力データのラベルそのものであり、xから求めるべきものではありません。

[qax]

ちなみに、

y_ = tf.layers.dense(x,units=1)

と

W = tf.Variable(tf.zeros([400, 1]))
b = tf.Variable(tf.zeros([1]))

y = tf.nn.softmax(tf.matmul(x, W) + b)

はほぼ同じ意味を表します。

[uedayuya]

何度も質問してしまい申し訳ありません。 tf.layers.dense(x,units=1)がよくわからなかったので、学びなおして別のアプローチをとり、プログラムを書いてみました。losses_valが0になった時のWが入力に対して適切な出力をだすWになるということでよろしいでしょうか？また角度の0~３６０を正規化したほうがいいのでしょうか？

[R.Shigemori]

編集されたコードを見た限り、問題ないと思います。実行してlossesがゼロに近づいていくような推移を示せば学習が進んでいることになります