ニューラルネット、分類問題の予測値の出力がすべて同じになる

Question

前提・実現したいこと

python、ニューラルネット初心者です。

python3を用いてニューラルネットを構築しています。
CSVデータに保存した数値データを使って学習を行い、未知のデータに対して10段階の分類を行うことが最終目標です。

未知のデータに対しての予測値がすべて同じ結果になってしまい、解決方法がわからなかったので質問させていただきました。
原因として、予測値の生成部分に間違いがあるのか、学習部分に間違いがあるのか、その解決方法を回答いただけますと幸いです。
また、予測値を出力する別の手法がございましたら教えていただきたいです。

回答にあたって、必要な情報が欠けていましたら補足いたしますので、教えていただけますと幸いです。

発生している問題・エラーメッセージ

[2019.0, 1110.0, 14.05, 17022.0, 726.0, 472.0, 362.0, 860.0, 1863.0, 1247.0, 379.0, 2434.0]
--予測値--
[1]

[2019.0, 1110.0, 15.05, 16313.0, 810.0, 760.0, 360.0, 2582.0, 1145.0, 695.0, 371.0, 1430.0]
--予測値--
[1]
....
[2019.0, 1207.0, 14.06666667, 47188.0, 1863.0, 1247.0, 379.0, 2434.0, 3841.0, 2300.0, 468.0, 3228.0]
--予測値--
[1]

[2019.0, 1207.0, 14.06666667, 16881.0, 1129.0, 438.0, 324.0, 1263.0, 1145.0, 695.0, 371.0, 1430.0]
--予測値--
[1]


--サンプルチームのデータ--
[1 1 1 1 1 1 1 1 1 1 1 1]


--予測値--
[1]

該当のソースコード

from __future__ import print_function
import csv

import pandas as pd
from pandas import Series,DataFrame

from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

import numpy as np
import matplotlib.pyplot as plt

import tensorflow as tf

from tensorflow import keras
from tensorflow.keras import models
from tensorflow.keras import optimizers
from tensorflow.keras.datasets import fashion_mnist
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense, Dropout
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input


#CSVファイルの読み込み
data_set = pd.read_csv("NN_testdata_2.csv",sep=",",header=0)
#説明変数（データセットの入力）
x = DataFrame(data_set.drop("result",axis=1))

#目的変数（得点の10段階評価）
y = DataFrame(data_set["result"])

#説明変数・目的変数をそれぞれ訓練データ・テストデータに分割
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.05)


#データの整形
x_train = x_train.astype(np.float)
x_test = x_test.astype(np.float)

y_train = tf.keras.utils.to_categorical(y_train,10)
y_test = tf.keras.utils.to_categorical(y_test,10)


#ニューラルネットワークの実装①
model = tf.keras.Sequential()

model.add(Dense(50, activation='relu', input_shape=(12,)))
model.add(Dropout(0.2))

model.add(Dense(50, activation='relu', input_shape=(12,)))
model.add(Dropout(0.2))

model.add(Dense(50, activation='relu', input_shape=(12,)))
model.add(Dropout(0.2))

model.add(Dense(10, activation='softmax'))

model.summary()
print("\n")

#ニューラルネットワークの実装②
model.compile(loss='mean_squared_error',optimizer=tf.keras.optimizers.RMSprop(
    learning_rate=0.001, rho=0.9, momentum=0.0, epsilon=1e-07, centered=False,
    name='RMSprop'),metrics=['accuracy'])

#ニューラルネットワークの学習
history = model.fit(x_train, y_train,batch_size=32,epochs=1000,verbose=1,validation_data=(x_test, y_test))

#ニューラルネットワークの推論
score = model.evaluate(x_test,y_test,verbose=1)
print("\n")
print("Test loss:",score[0])
print("Test accuracy:",score[1])

#10段階評価したいチームのデータを入力
f = open('./NN_test_wn2019.csv', 'r')
reader = csv.reader(f)

#########################################該当箇所###########################################
for row in reader:
    line = list(map(float, row))
    print(line)
#予測値の生成
    if line:
        sample = np.array([line])
        sample = np.reshape(sample,(1,12))
        predict=model.predict(sample, batch_size=None, verbose=0, steps=None)
        classes=np.argmax(predict,axis=1)
        #classes=(model.predict(sample) > 0.5).astype("int32")
 　　　　print("--予測値--")
        print(classes)
        print("\n")
    else:
        break
####################################################################################
f.close()



#偏った入力に対する予測値
sample = np.array([1,1,1,1,1,1,1,1,1,1,1,1])
print("\n")
print("--サンプルチームのデータ--")

print(sample)
sample = np.reshape(sample,(1,12))

predict=model.predict(sample, batch_size=None, verbose=0, steps=None)
classes=np.argmax(predict,axis=1)

print("\n")
print("--予測値--")
print(classes)
print("\n")

試したこと

入力データを偏ったものにして出力してみましたが、ほかの予測値と同じ結果になってしまいました。
バッチサイズやエポック数を変更してみましたが出力はすべて同じ結果になってしまいました。

（該当箇所内）
predict=model.predict(sample, batch_size=None, verbose=0, steps=None)
classes=np.argmax(predict,axis=1)
↓
classes=(model.predict(sample) > 0.5).astype("int32")
上記の上2列を下の1列に書き換えましたが、出力の予測値はすべて同じ結果になっていました。

予測値は[1]以外にも0－9の間の結果を得ることができましたが、すべて全く同じ出力になっていました。
予測値[3][3][3]...[3][3]
予測値[8][8][8]...[8][8]など

補足情報（FW/ツールのバージョンなど）

python3
tensorflow 2.6.2
keras 2.6.0

Comments

[jbpb0]

#10段階評価したいチームのデータを入力

のすぐ上に下記を追加して実行したら、結果はどうなりますでしょうか？

predict=model.predict(x_test)
classes=np.argmax(predict,axis=1)
print(classes)

[hate_tometo]

ご回答ありがとうございます。
上記を追加した際の出力結果ですが、

[1 1 1 1 1 1 1 1 1 1 1 1... 1 1 1 1 1 1 1]

すべて１という出力になっていました。

[jbpb0]

コード中の

score = model.evaluate(x_test,y_test,verbose=1)
print("\n")
print("Test loss:",score[0])
print("Test accuracy:",score[1])

の結果は、どうなのでしょうか？
「Test accuracy:」は、それなりの値(1.0に近い)なのですか？

[jbpb0]

CSVファイルからデータを読み込む代わりに、

#CSVファイルの読み込み
data_set = pd.read_csv("NN_testdata_2.csv",sep=",",header=0)
#説明変数（データセットの入力）
x = DataFrame(data_set.drop("result",axis=1))
#目的変数（得点の10段階評価）
y = DataFrame(data_set["result"])
↓ 変更
from sklearn.datasets import load_digits
digits = load_digits()
x = digits.data
y = digits.target

と変えて、データ数が横方向に12個ではなく64個なので、それに合わせてネットワークの入力を

#ニューラルネットワークの実装①
model = tf.keras.Sequential()
model.add(Dense(50, activation='relu', input_shape=(12,)))
model.add(Dropout(0.2))
↓ 変更
#ニューラルネットワークの実装①
model = tf.keras.Sequential()
model.add(Dense(50, activation='relu', input_shape=(64,)))
model.add(Dropout(0.2))

と変えて、他は質問に掲載のコードのままで「#10段階評価したいチームのデータを入力」の上まで実行してから、

predict=model.predict(x_test)
classes=np.argmax(predict,axis=1)
print(classes)
print(np.argmax(y_test,axis=1))

を実行して、二つの「print」の結果を比較したら、下記の通りでほぼ同じでした

>>> print(classes)
[6 2 8 7 1 3 0 6 9 2 8 3 0 4 6 5 1 2 8 1 3 7 3 7 0 5 4 2 8 2 8 1 4 4 2 9 0
7 0 5 5 3 6 3 1 4 8 0 0 1 4 3 6 8 1 6 7 5 6 5 1 0 5 0 7 3 7 3 0 0 4 3 3 2
1 1 4 3 0 6 8 5 7 5 5 0 6 1 4 5]
>>> print(np.argmax(y_test,axis=1))
[6 2 8 7 1 3 0 6 9 2 8 3 0 4 6 5 1 2 8 1 3 7 3 7 0 5 4 2 8 2 8 2 4 4 2 9 0
7 0 5 5 3 6 3 2 4 8 0 0 1 4 3 6 8 1 6 7 5 6 5 1 0 5 0 7 3 7 3 0 0 4 3 3 2
1 1 4 3 0 6 5 8 7 5 5 0 6 1 4 5]

なので、コードは問題無いと思います

質問者さんの環境でも上記を行なってみてください
それで大丈夫なら、質問者さんが学習に使ってるデータで、ちゃんと学習できてるのかを疑った方がいいです

history = model.fit(...

を実行した時の「acc:」と「val_acc:」は、最終(Epoch 1000/1000)でいくつでしょうか？

[hate_tometo]

ご丁寧な回答ありがとうございます。

ーー質問者さんの環境でも上記を行なってみてください
ご指摘の通りの変更をして実行し、二つのprintを比較してみたところ、回答者様と同じような結果が得られましたので、コードに問題はなさそうでした。

ーー「acc:」と「val_acc:」は、最終(Epoch 1000/1000)でいくつでしょうか？
最終的な結果ですが、
Test loss: 0.12964825332164764
Test accuracy: 0.35175880789756775
と、かなり低い結果に終わっています。

[jbpb0]

history = model.fit(...

を実行した時に、各Epochで毎回「acc:」と「val_acc:」が表示されますよね
それの最終回の数値は、それぞれいくつですか？

【追記】
最終回の「val_acc:」は、たぶん
Test accuracy: 0.35175880789756775
と同じです
最終回の「acc:」はいくつでしょうか？

[hate_tometo]

epoch(1000)の時、
acc:0.3489
Test accuracy:0.3467336595058441(val_accと同じ値)
となりました。

[jbpb0]

10分類で、正解率35%なので、学習がダメダメですね
デタラメ(正解率10%)よりはマシだけど

【追記】
元データの「y」が0～9が偏りなく分布してるなら、推定が全部1とかになったら正解率は約10%になるはずです
悪いながらも正解率が35%になるということは、元データの「y」に偏りがあって1が35%くらいあるのですか？

[hate_tometo]

ご回答ありがとうございます。
お時間をお取りして申し訳ないです、、、

まずは正解率を上げることができるように、方向転換してみます。
丁寧なご回答、解説本当にありがとうございます。

[hate_tometo]

追記ありがとうございます。

正確な数値はわかりませんが、元のデータは実際に、偏っていて、１は特に多いものになっています。

[追記]
計算しましたところ、元のデータ全体の34.88パーセントが1になっていました。

[jbpb0]

> 元のデータ全体の34.88パーセントが1

なら、

> acc:0.3489
Test accuracy:0.3467336595058441(val_accと同じ値)

が納得できます
全部1と推定するように学習されたのですね

[hate_tometo]

ご回答ありがとうございます。

データと学習方法についてもう一度見直してみます。
ありがとうございます。

Answer 1

#ニューラルネットワークの学習
history = model.fit(x_train, y_train,batch_size=32,epochs=1000,verbose=1,validation_data=(x_test, y_test))

を実行した時に、各Epochで毎回「acc:」と「val_acc:」が表示されますけど、それの最終回の数値が低すぎるなら、学習がうまくいってません

予測値がすべて同じ結果

となるように学習されてしまったのでしょう