kerasを使ったCNNの回帰学習を行なっているのですが、予測値が一定になります助けてください

Question

前提・実現したいこと

人の約2万の代謝物をt-sne次元圧縮法を使って画像化された143人分の画像データを学習データに、それらの人の年齢を教師データにして、CNNを用いた回帰学習を行いたいです。実行するとエラーを出さずに、最後まで動きます。(実行時間10分程度)。しかし、model.predictを行うと一定の値した出力されず、学習ができていません。
環境　macOS big sur ver 11.2 、python3.6 、jupyter notebook、 tensorflow

質問事項
・model.predict(X_test)を実行し、テストデータの年齢を予測すると全部同じぐらいの数字として予測されます。(out_put: array([[50.41556 ], [50.415688],[50.41586 ],[50.415657],[50.416435],[50.416126],[50.415924],[50.415714],[50.415657],[50.415928],[50.41616 ],[50.415886],[50.416042],[50.416138],[50.415443]], dtype=float32) )これは、データが足りないということなのでしょうか、それともコーディングが間違っているのでしょうか？テストデータは画像の青色の部分から抽出されているので、教師データは本来、一定の値ではありません
・tensorflowで学習のログを確認した時、損失関数の分布が、参考書で見るようなシグモイド曲線になりません。どうすればよいでしょうか？

発生している問題・エラーメッセージ

該当のソースコード

ソースコード
import glob
import re
import os
import cv2
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
from tensorflow.keras.layers import Dropout, Flatten, Dense

img_dir ='PATH'　#ディレクトリのPATH
types = [ 'sample_data*.png'] #ディレクトリの中の画像ファイルを格納
paths = []
for t in types:
    paths.extend(glob.glob(os.path.join(img_dir, t)))#pathsに画像ファイルを格納
    
X = []
Y = []
for f in paths:
    img = cv2.imread(f)
    img = np.asarray(img)
    X.append(img)#Xに画像データを格納
    
    f =re.sub(' PATH ','',f) #画像ファイルの名前から教師ラベルを抽出
    f =re.sub('[0-9]+','',f,1)
    f =re.search(r'\d+', f)
    f =f.group()
    Y.append(f)#Yに教師ラベルを格納
    
Y = np.array(Y)
Y = Y.astype(float)
X = np.array(X)
print(X.shape,Y.shape)#Xの画像データを行列に変換
X = X / 255.0
Y = Y / 100#損失関数を小さくするために表記

X_train, X_test, y_train, y_test = train_test_split(X,Y,random_state = 0,test_size = 0.1)#XとYをtrain_dataとtest_dataに分ける
print(X_train.shape, y_train.shape, X_test.shape, y_test.shape) #データの確認

model = models.Sequential()#CNNモデル構築、input画像は、500×500 ピクセルRGBの画像データ
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(500, 500, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(Dense(1))
model.summary()

model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=0.0001),#モデルのコンパイルと学習、確立的勾配降下法(SDG)X: 画像のデータ、Y :目的関数(教師ラベル)
              loss='mse',#損失関数
              metrics=['mae'])

tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir="PATH_flog/", 
                                                      histogram_freq=1)#TensorBoardで学習のログを残す

model.fit(X_train, y_train, batch_size=16, epochs=8,verbose=1,callbacks=[tensorboard_callback])
test_loss,test_acc = model.evaluate(X_test, y_test, verbose=1)

print(test_loss)

model.predict(X_test)

試したこと

rensorflowで学習を可視化
損失関数を小さくするために、Y を０〜１での範囲で示すように変更(658→0.071)

補足情報（FW/ツールのバージョンなど）

＊青色がtestデータ、赤色がtrainデータ

Comments

[jbpb0]

pythonのコードの一番最初の行のすぐ上に
```python
だけの行を追加してください
また、pythonのコードの一番最後の行のすぐ下に
```
だけの行を追加してください

現状、コードがとても読み辛いです
質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、回答されやすくなります

[jbpb0]

> ・損失関数(loss)が658になります。これは、参考書では0.9などになっていて

loss='mse' なので、平均の誤差が√658≒26くらいなのでしょう

誤差が大きすぎるかもしれないので、Yを100.0で割って、Yの範囲を0.0〜1.0にしてみたらいかがでしょうか

[Taiira]

ありがとうございます。Yを0~1の範囲の数字に変更したことによって損失関数が0.071になりました。
しかし、model.predictで予測値を出力すると、一定値で予測されます。これは、訓練データが少ないことに起因する現象なのでしょうか。

[jbpb0]

model.fitの後のmodel.evaluateやmodel.predictをX_train, y_trainで行ったら、うまくいきますか？
その結果は良いなら、過学習を抑える対策を入れるとか、データを増やすとか、が必要ですね

[jbpb0]

もし、model.evaluateやmodel.predictをX_train, y_trainで行ってもうまくいかないなら、学習ができてません
その場合は、データの問題かコードの問題か切り分けるため、同じコードで、もっと簡単に学習・予測できることをやってみたらいかがでしょうか

たとえば、画像の平均の明るさをYにしたら、学習も予測も簡単にうまくいくはず
それならば同じコードでうまくいくなら、現在入力に使ってる画像から年齢を予測するのがとても困難なのかもしれません (画像と年齢の相関があまり無い)

[Taiira]

model.predictをX_trainを行なったところ、X_testと同じように、予測値が一定という結果になりました。これは、@jbpb0さんの言うところの学習ができていないことを示しているのだと思います。
コードの問題を検証するために、簡単な画像データを作って動かしてみようと思います。

[jbpb0]

同じコードで簡単な教師データならうまくいったとして、その画像(t-sne次元圧縮法)の作り方に実績(cnnで分類ができた)があって、画像を作るツールの使い方も間違ってないとすれば、最終精度が十分かは置いといて、全く学習できないはずはないですよね
・batch_sizeを変えてみる
・learning_rateを変えてみる
・epochsを増やしてみる
とかすると、良くなる条件があるのかも
あくまでも、コードに問題が無いことが確認できた上での話ですが

[toast-uz]

・Yのサイズを変えているので、medel.predictの出力もそれに引っ張られます。逆変換しましょう。
・TensorBoardは使ったこと無いですが、3つのグラフそれぞれに複数本の線があるのは、何に対応しているのでしょうか（そもそもYのサイズ変更前のグラフな気がします）？epoch_lossの右下がりの線が本命なのでれば、epochごとに急速にlossが改善している最中であり、epoch数が圧倒的に足りていません。
・model.evaluateを使うのでなく、model.fitで、validation_data=(X_test, y_test)を入れましょう。epochごとにテストデータで検証できるので、過学習が判別できます。
・optimizersは、特別な理由がない限りAdamにしましょう。learning_rateはデフォルト0.001から変えない方が良いです。デフォルトより増やす方向の調整が経験上多いですので、減らしているのは悪手。

[toast-uz]

あと、実績あるパッケージを使われているとのことですが、CNNのレイヤー構造も実績あるものなのでしょうか？500×500の巨大画像がinputなので、3×3カーネルでの畳込み・3層のみ、というのは、感覚的に小さい・少ない印象があります。

[Taiira]

ありがとうございます。
・TensorBoardに関しては、学習のログをリセットされておらず、ログが重複していることが原因と考えられます。ログをリセットした上でやり直してみます。
・optimizerは、無知ゆえに、とりあえずでSDGで行なっていたため、Adamに変えようと思います。
・また、畳みこみのフィルターサイズに関しては、500×500のような画像で行なっている例が、なかった
ため、3×3で試しています。層に関しても、基本的に２層以上必要ということしか知らなかったため三層で行なっています。これらのサイズはどれくらいまで大きくしていいのでしょうか？

[toast-uz]

畳み込みについては特にこれという指針は無く、似たような成功モデルをマネるのがよいです。
なお、サンプルデータ数が少ないかもですね。回答側で記述いただいたリンクを見ると、サンプル数6,216枚でした。

[Taiira]

今後は
・サンプルの数を増やす
・畳み込みのパラメーター(カーネルサイズ)と学習の層の数を増やす
という方向で進めていこうと思います。(以下補足…)
プログラムの健全性を評価するために、テストデータでの検証を行いました。テストデータ(教師関数として1~100の数字を持ち、画像データには500×500×3で1画像の1ピクセル数字は全て均一、で教師関数が1増えるごとに画像のピクセルの数字が１増える)。このデータ100枚で学習を行なったところ、model.predictの結果は、20程度の幅をもったデータ(40~60)が出力されました。これは均一の値を出力していないことから、学習を行えている、プログラムは妥当であると考えています。加えて、データを1000に増やしたところ、model.predictの結果は、改善されました。データを増やすアプローチの正当性が示唆されました。

Answer 1

人の約2万の代謝物をt-sne次元圧縮法を使って画像化された143人分の画像データを学習データに

率直に思ったこととしては、t-sneの画像をCNNに入れて……というのはそもそも無理筋ではないですかね？　

t-sneの変換自体、可視化はできてもさほど厳密なものではありませんし、個体ごとに別々にt-sneをかけているとすればそれぞれでまったく異なる変換が施されます。それでもなんらかの構造が現れてくれると仮定したとしても、ランダムに回転するので画像認識には困難が伴いそうです。

Comments

[Taiira]

回答ありがとうございます。
t-sheの処理としては、全個体データに一括して同様の処理をしています。cnnで学習することを前提に次元圧縮を行うパッケージを開発された方がいまして、私はそのパッケージを使わせてもらっています。その方は本件と同じように個体ごとに画像化を行なっており、その後、分類学習を行なっていました。
そういった背景から、パッケージを使用し個体ごとにデータ画像化して、回帰学習を行いたいのですが、難しいのでしょうか

[hayataka2049]

難しそうだ、というフィーリングを回答しただけなので、理論的・実証的に「いける」ということであれば、それはそれで構いません。他のところに原因があるのだろう、ということになります。
そのパッケージの情報を教えていただけますか？

[Taiira]

私は、deepinsightというパッケージを使わせてもらっています。
githubでのページはここです。
https://github.com/alok-ai-lab/DeepInsight
日本語で解説してくれているページもあります。(角田さんという方)
https://www.riken.jp/press/2019/20190806_3/index.html

[hayataka2049]

見た感じ面白いといえば面白いのですが、そこまで良いかこれ……変数クラスタリングして画像化するなら、昔からあるSOMとかと変わらない気がした。
t-sneはうまくいっているとすれば、データセットが1桁足りないとか、シンプルにモデルの構造が悪いとか、そんなところでしょうか。