Tensorflowで重回帰？

Question

Tensorflowで重回帰ってできないんですか？
どこのサイトを見ても、下記のような確率的勾配降下法を使った「疑似重回帰」の例しか載っていません。

import tensorflow as tf
import numpy as np

# 読み込み
from sklearn.datasets import load_boston
boston = load_boston()

# データ分割
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = X_train, X_test, y_train, y_test = train_test_split(boston['data'], boston['target'], test_size=0.3,  random_state=0)

# 型変換（変数の型はとりあえず、全てfloat32に変換しておけば間違いない）
X_train = X_train.astype(np.float32)
X_test = X_test.astype(np.float32)
y_train = y_train.astype(np.float32)
y_test = y_test.astype(np.float32)

# 正規化
import scipy.stats as sp
X_train=sp.zscore(X_train,axis=1)
X_test=sp.zscore(X_test,axis=1)

# 説明変数の数
x_num = X_train.shape[1]

# 説明変数のPlaceholder
X = tf.placeholder(tf.float32, shape = [None, x_num ])

# 目的変数のPlaceholder
Y = tf.placeholder(tf.float32)

# 回帰係数
W = tf.Variable(tf.random_uniform([x_num, 1]))

# 定数校
b = tf.Variable(tf.zeros([1]))

# 予測値算出式の定義
y = tf.add(tf.matmul(X, W), b)

# 損失関数の定義
loss = tf.reduce_mean(tf.square(y - Y))

# 最適化基準の定義
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

with tf.Session() as sess:
    # 変数を使う場合は初期化が必要
    sess.run(tf.global_variables_initializer())
    
    # 学習開始
    for step in range(2001):
        
        # 最適化実施
        sess.run(train, feed_dict={X: X_train, Y: y_train})
        
        # 最新の回帰係数と定数校の記憶
        W_new=sess.run(W)
        b_new=sess.run(b)
        
        # 経過出力
        if step % 20 == 0:
            print(step,sess.run(W),sess.run(b))

# 予測値の算出
prediction=np.add(np.matmul(X_train, W_new), b_new)
print(prediction)

# 乖離度の算出
np.mean(
    np.abs(
        (y_train-prediction)/y_train
    )
)*100

また、上記の「疑似重回帰」の結果が思っているより悪いです。Placeholderの使い方を間違っているのでしょうか？上記は、bostonデータを、全説明変数を使って予測したものですが、下記の1説明変数のみを使って予測した結果よりも悪いです。なぜでしょうか？bostonのようなきれいなデータなら、説明変数が多い方が精度がいいはずなので、何か間違っているのではないかと考えます。

import tensorflow as tf
import numpy as np

# 読み込み
from sklearn.datasets import load_boston
boston = load_boston()

# データ分割
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = X_train, X_test, y_train, y_test = train_test_split(boston['data'], boston['target'], test_size=0.3,  random_state=0)

# 型変換（変数の型はとりあえず、全てfloat32に変換しておけば間違いない）
X_train = X_train.astype(np.float32)
X_test = X_test.astype(np.float32)
y_train = y_train.astype(np.float32)
y_test = y_test.astype(np.float32)

# 正規化
import scipy.stats as sp
X_train=sp.zscore(X_train,axis=1)
X_test=sp.zscore(X_test,axis=1)

"""最適化
"""
# 回帰係数の定義
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))
# 定数項の定義
b = tf.Variable(tf.random_uniform([1]))
# 回帰式の定義
y = W * X_train[:,0] + b

# 損失関数の定義
loss = tf.reduce_mean(tf.square(y - y_train))

# 最適化基準の定義
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

with tf.Session() as sess:
    # 変数を使う場合は初期化が必要
    sess.run(tf.global_variables_initializer())
    
    # 学習開始
    for step in range(2001):
        # 最適化実施
        sess.run(train)
        
        # 最新の回帰係数と定数校の記憶
        W_new = sess.run(W)
        b_new = sess.run(b)
        
        # 経過出力
        if step % 20 == 0:
            print(step, sess.run(W), sess.run(b))

prediction = X_train[:,0] * W_new + b_new
print(prediction)

np.mean(
    np.abs(
        (y_train-prediction)/y_train
    )
)*100

Answer 1

重回帰について

重回帰は独立した説明変数がふたつ以上の回帰なので、tensorflowのモデルも重回帰です。あえていうとtensorflowのモデルはパラメーターの推定に数値計算的アプローチが用いられているのであって、あらかじめ導出された計算式を用いる解析的アプローチではありません。よって、proglabさんがいう「重回帰」が解析的アプローチによるものを指し示しているのであれば、tensorflowでは自力で実装しない限り不可能ということになります

予測精度について

予測精度をnp.mean(略)の結果で判断していると思いますが、使用する計算方法がいいと思いません。この方法だと1000倍と100分の1の誤差だと500.005、100倍と1000分の1だと50.0005となります。しかしながら1.0を基準とするとどちらも等価（つまり100倍と100分の1は大きいほうへ外れるか、小さいほうへ外れるのかの違いであって距離的には等価）となるように計算するべきです。

具体的にいうと対数変換したものの二乗平均を計算するといいと思います。先の例について、底を10として対数変換すると、3と-2、2と-3になるので二乗平均を計算すると誤差が等価になります。
たしか、sklearn.metricsに関数があったはずなので、調べてみてください