ディープラーニングでの予測値の出力が正しく出力されない

Question

前提・実現したいこと

ディープラーニングを使って「震災時の道路復旧期間の予測」を行っています。
その中で全111個のデータ中の34個（30％に当たる）のテスト用データを使って、学習から予測を行っていましたが、34個分の予測値がすべて同じ結果になってしまうという問題が発生してしまいました。

発生している問題・エラーメッセージ

y_test = model.predict(x_test)
pd.DataFrame(y_test)

#以下は下のコードに対する出力
0	4.853684
1	4.853684
2	4.853684
3	4.853684
4	4.853684
5	4.853684
6	4.853684
7	4.853684
8	4.853684
9	4.853684
10	4.853684
11	4.853684
12	4.853684
13	4.853684
14	4.853684
15	4.853684
16	4.853684
17	4.853684
18	4.853684
19	4.853684
20	4.853684
21	4.853684
22	4.853684
23	4.853684
24	4.853684
25	4.853684
26	4.853684
27	4.853684
28	4.853684
29	4.853684
30	4.853684
31	4.853684
32	4.853684
33	4.853684

該当のソースコード

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# affine変換してる
def affine(z, w, b):
    return np.dot(z, w) + b
# affine変換勾配
def affine_back(du, z, w, b):
    dz = np.dot(du, w.T)
    dw = np.dot(z.T, du)
    db = np.dot(np.ones(z.shape[0]).T, du)
    return dz, dw, db
def sigmoid(u):
    return 1 / (1 + np.exp(-u))
# 活性化関数 (シグモイド )の 勾配，中間層の勾配
def sigmoid_back(u):
    return (1 - sigmoid(u)) * sigmoid(u)
def identity(u):
    return u

# 二乗和誤差：回帰問題
def squared_error(y, u):
    return 0.5 * np.sum((y - u) ** 2) / y.shape[0]
# 誤差 (二乗和誤差）＋活性化関数 (恒等関数 )の勾配
def identity_mean_squared_error_back(y, u):
     return (y - u) / y.shape[0]

# 学習部分
def learn(x, u, w1, b1, w2, b2, w3, b3, lr):
# 順伝播 (入力データから、予測データを求めるまで )
    u1 = affine(x, w1, b1)
    z1 = sigmoid(u1)
    u2 = affine(z1, w2, b2)
    z2 = sigmoid(u2)
    u3 = affine(z2, w3, b3)
    y = identity(u3)

# 重み、バイアスの更新
    w1 = w1 - lr * dw1
    b1 = b1 - lr * db1
    w2 = w2 - lr * dw2
    b2 = b2 - lr * db2
    w3 = w3 - lr * dw3
    b3 = b3 - lr * db3
    return w1, b1, w2, b2, w3, b3

def predict(x, w1, b1, w2, b2, w3, b3):
# 順伝播
    u1 = affine(x, w1, b1)
    z1 = sigmoid(u1)
    u2 = affine(z1, w2, b2)
    z2 = sigmoid(u2)
    u3 = affine(z2, w3, b3)
    y = identity(u3)
    return y

# 実行プログラム
# 地震データ読み込み
df = pd.read_csv('earthquake_B_traffic.csv')

# データの作成 説明変数・目的変数分ける
df_x = df.drop("regulatory period", axis=1)
p= df.drop("damage range", axis=1)
q= p.drop( "embankment height", axis=1)
r= q.drop("landform", axis=1)
s= r.drop("banking structure", axis=1)
t= s.drop("damage form", axis=1)
u= t.drop("traffic", axis=1)
# 説明変数・目的変数をそれぞれ訓練データ・テストデータに分割
pred_train = model.predict(x_train)
pred_test = model.predict(x_test)

# ノード数設定
d0 = x_train.shape[1]
d1 = 30 # 1層目のノード数
d2 = 30 # 2層目のノード数
d3 = 1 #出力層


# 重みの初期化 (-0.1 0.1の乱数 )
np.random.seed(9)
w1 = np.random.rand(d0, d1)*0.001
w2 = np.random.rand(d1, d2)*0.001
w3 = np.random.rand(d2, d3)*0.001
#重みを１~0.001に設定する部分

# バイアスの初期化 (0)
b1 = np.zeros(d1)
b2 = np.zeros(d2)
b3 = np.zeros(d3)
# 学習率
lr = 0.5
# バッチサイズ
batch_size = 30
# 学習回数
epoch =1000

#グラフを 描写リスト
x = [0, epoch]
y = [0.100]
for i in range(epoch):
    for j in range(0, x_train.shape[0], batch_size): w1, b1, w2, b2, w3, b3 = learn(x_train[j:j + batch_size], t_train[j:j + batch_size], w1, b1, w2, b2, w3, b3, lr)
    # 学習 shape[００]は行の大きさを調べている．ここでは， ，77．よって 0~77の範囲でバッチサイズ文のステップ幅で数列を作成

print(i)


# 予測（学習データ）
y_train = predict(x_train, w1, b1, w2, b2, w3, b3)
# 予測（テストデータ）
y_test = predict(x_test, w1, b1, w2, b2, w3, b3)
# 誤差表示
train_err = squared_error(y_train, t_train)
test_err = squared_error(y_test, t_test)
print(i, test_err)
x.append(i)
y.append(train_err)

print(train_err)


# 正解率
def accuracy_rate(y, u):
    max_y = np.argmax(y)
    max_t = np.argmax(u)
    return np.sum(max_y == max_t) / y.shape[0]

print(accuracy_rate)

# 予測（テストデータ）
y_test = predict(x_test, w1, b1, w2, b2, w3, b3)
print(y_test.shape)

# データの作成 説明変数・目的変数分ける
df_x = df.drop("regulatory period", axis=1)
p= df.drop("damage range", axis=1)
q= p.drop( "embankment height", axis=1)
r= q.drop("landform", axis=1)
s= r.drop("banking structure", axis=1)
t= s.drop("damage form", axis=1)
u= t.drop("traffic", axis=1)

# 説明変数・目的変数をそれぞれ訓練データ・テストデータに分割
pred_train = model.predict(x_train)
pred_test = model.predict(x_test)

# 事前準備
from keras.models import Sequential
from keras.layers import Dense, Dropout


# モデルを作るぞ！と宣言
model = Sequential()
model.add(Dense(15, input_dim=6, activation='sigmoid'))
model.add(Dropout(0.2))
model.add(Dense(15, activation='sigmoid'))
model.add(Dropout(0.2))
model.add(Dense(1))
model.compile(optimizer='adam', loss='mse', metrics=['accuracy'])

epochs = 1000
history = model.fit(x=x_train, y=t_train, epochs=epochs, batch_size=11, validation_data=(x_test, t_test))

score = model.evaluate(x_test, t_test, verbose=0)
print('Test loss', score[0])
print('Test accurancy', score[1])


y_test = model.predict(x_test)
pd.DataFrame(y_test)

###説明変数5種類で実装
説明変数を5種類に一つ減らして試みたところ、正しく予測値が出力され、
使用したデータの実測値と予測値の比較グラフの表示までできました。
説明変数が一つ変わるだけで予測値の出力が正しく行われないことが解決できないことです。

補足情報（FW/ツールのバージョンなど）

コードの中身の説明変数は全部で6個、出力値は予測日数

Answer 1

同じ現象になったことがあります。
原因を特定できませんでしたが、入力データの数を減らしたら直りました。

データを変えてみることはできますか？

Comments

[hidekun-]

回答ありがとうございます。
説明変数を5種類から6種類から変更したらこのような現象になりました。

解決次第、解決法の投稿いたしますので是非見てください！

Answer 2

同じ値が出るということは

①モデルの訓練がうまくいっていない

②訓練自体は出来ているが、何かしらのミスで同じ値が表示されている

のどちらかの可能性が高いです。

プログラム全文読むのは手間なので、
①かどうか確かめるために

print('Test loss', score[0])
print('Test accurancy', score[1])

の出力を提示してください。

Comments

[hidekun-]

毎度、回答ありがとうございます。

print('Test loss', score[0])
print('Test accurancy', score[1])
を出力してみると

Test loss 12.803413335014792
Test accurancy 0.029411764705882353

という出力が出ました。

Answer 3

コードの中身は読んでませんが、x_testの中身を確認してみてください。

x_testが全て同じ値になってませんか？

Comments

[hidekun-]

回答ありがとうございます。

x_train, x_test, t_train, t_test のすべてprint（）で出力してみましたがどれも正常な説明変数が出力されました。

y_testに関わるコードが何かおかしいのしょうか？

[jckkvs]

本筋とは一旦離れますが
x_train, x_test, y_train, y_test = train_test_split(df_x, u, test_size=0.3)

pred_train = model.predict(x_train)
pred_test = model.predict(x_test)

とするのが一般的です。

あと、逆伝播とか定義されていますが、これは全く使っていない？
ただのkerasでfitしただけでしょうか。

[jckkvs]

①回帰分析なら

model.add(Dense(1, activation='relu'))
の最後の活性化関数は不要ではないですか？
model.add(Dense(1)）
で良いはずです。

②validation dataとtest dataは分けましょう。

[jckkvs]

同じ値が出るということは

①モデルの訓練がうまくいっていない

②訓練自体は出来ているが、何かしらのミスで同じ値が表示されている

のどちらかの可能性が高いです。

プログラム全文読むのは手間なので、
①かどうか確かめるために

print('Test loss', score[0])
print('Test accurancy', score[1])

の出力を提示してください。

[jckkvs]

あと、コードから動作に関係ない部分を全部消してください