CNN学習 モバイルネットV3をもとにファインチューニングを行い二値分類で正解画像と不正解画像を分類するモデルを作りたいが、学習がうまくいかない。検証データが一定になる

Question

モバイルネットV3で二値分類を使った学習についてです。
ファインチューニングもしているのですが、以下のコードです。

import os
import pandas as pd
from sklearn.model_selection import train_test_split
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import MobileNetV3Small
from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint
import matplotlib.pyplot as plt
import tensorflow as tf

# ハイパーパラメータ
image_size = (224, 224)
batch_size = 32
learning_rate = 0.0001
epochs = 100
fine_tune_at = -5

# データセットを格納するディレクトリへのパス
base_dir = 'C:/Users/admin/Documents/CNN_224/'

# 訓練データセット、検証データセットを配置するディレクトリ
positive_path = os.path.join(base_dir, 'cnn_a')
negative_path = os.path.join(base_dir, 'cnn_n')

# train_set.filenamesからファイルパスを取得
positive_files = [os.path.join(positive_path, filename) for filename in os.listdir(positive_path)]
negative_files = [os.path.join(negative_path, filename) for filename in os.listdir(negative_path)]

# データフレームを作成
positive_df = pd.DataFrame({'filepath': positive_files, 'class': 'positive'})
negative_df = pd.DataFrame({'filepath': negative_files, 'class': 'negative'})
df = pd.concat([positive_df, negative_df], ignore_index=True)

# 訓練データと検証データに分割
train_df, test_df = train_test_split(df, test_size=0.2, random_state=42)

# データの前処理とデータ拡張
train_datagen = ImageDataGenerator(rescale=1./255, shear_range=0.8, zoom_range=0.8, horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)

# データを読み込むためのジェネレータを作成
train_set = train_datagen.flow_from_dataframe(train_df, x_col='filepath', y_col='class', target_size=image_size, batch_size=batch_size, class_mode='binary')
test_set = test_datagen.flow_from_dataframe(test_df, x_col='filepath', y_col='class', target_size=image_size, batch_size=batch_size, class_mode='binary')

# モデルの構築
base_model = MobileNetV3Small(weights='imagenet', include_top=False, input_shape=(*image_size, 3))

# 最後のブロックの一部の層を解凍
for layer in base_model.layers[:fine_tune_at]:
    layer.trainable = False

# モデルに新しい出力層を追加
model = tf.keras.Sequential([
    base_model,
    tf.keras.layers.GlobalAveragePooling2D(),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

# モデルのコンパイル
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=learning_rate),
              loss='binary_crossentropy',
              metrics=['accuracy'])

# EarlyStoppingとModelCheckpointのパラメータ変更例
early_stopping = EarlyStopping(monitor='val_loss', patience=2, restore_best_weights=True)
model_checkpoint = ModelCheckpoint('best_model.h5', save_best_only=True, monitor='val_accuracy')

# モデルの概要表示
model.summary()

# モデルのトレーニング
history = model.fit(train_set, epochs=epochs, validation_data=test_set, callbacks=[early_stopping, model_checkpoint])

# モデルの保存先パス
model_save_path = 'C:/Users/admin/Documents/CNN_224/a1.keras'

# モデルの保存
model.save(model_save_path)

# 訓練損失と検証損失のグラフ
plt.figure(figsize=(12, 5))

# 訓練精度と検証精度のグラフ
plt.subplot(1, 2, 1)
plt.plot(history.history['accuracy'], label='Train Accuracy')
plt.plot(history.history['val_accuracy'], label='Validation Accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim(0, 1)
plt.legend()

# 訓練損失と検証損失のグラフ
plt.subplot(1, 2, 2)
plt.plot(history.history['loss'], label='Train Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.ylim(0, 1)  # Y座標は0から1まで
plt.legend()

# グラフ上に数値を表示
print(f"最終訓練精度: {history.history['accuracy'][-1]:.4f}")
print(f"最終検証精度: {history.history['val_accuracy'][-1]:.4f}")
print(f"最終訓練損失: {history.history['loss'][-1]:.4f}")
print(f"最終検証損失: {history.history['val_loss'][-1]:.4f}")

plt.tight_layout()
plt.show()

●実行結果●

Found 3200 validated image filenames belonging to 2 classes.
Found 800 validated image filenames belonging to 2 classes.
Model: "sequential_71"

---

Layer (type) Output Shape Param #

MobilenetV3small (Function (None, 7, 7, 576) 939120
al)

global_average_pooling2d_7 (None, 576) 0
0 (GlobalAveragePooling2D)

dense_94 (Dense) (None, 1) 577

=================================================================
Total params: 939697 (3.58 MB)
Trainable params: 112513 (439.50 KB)
Non-trainable params: 827184 (3.16 MB)

---

Epoch 1/100
100/100 [==============================] - ETA: 0s - loss: 0.6889 - accuracy: 0.5731
100/100 [==============================] - 80s 729ms/step - loss: 0.6889 - accuracy: 0.5731 - val_loss: 0.7155 - val_accuracy: 0.5275
Epoch 2/100
100/100 [==============================] - 66s 662ms/step - loss: 0.6816 - accuracy: 0.6153 - val_loss: 0.7061 - val_accuracy: 0.5275
Epoch 3/100
100/100 [==============================] - 68s 680ms/step - loss: 0.6662 - accuracy: 0.7319 - val_loss: 0.7009 - val_accuracy: 0.5275
Epoch 4/100
100/100 [==============================] - 67s 665ms/step - loss: 0.6411 - accuracy: 0.7066 - val_loss: 0.6971 - val_accuracy: 0.5275
Epoch 5/100
100/100 [==============================] - 65s 649ms/step - loss: 0.5886 - accuracy: 0.8319 - val_loss: 0.6939 - val_accuracy: 0.5275
Epoch 6/100
100/100 [==============================] - 67s 664ms/step - loss: 0.5381 - accuracy: 0.8397 - val_loss: 0.6931 - val_accuracy: 0.5275
Epoch 7/100
100/100 [==============================] - 66s 657ms/step - loss: 0.4948 - accuracy: 0.8697 - val_loss: 0.6923 - val_accuracy: 0.5275
Epoch 8/100
100/100 [==============================] - 64s 644ms/step - loss: 0.4434 - accuracy: 0.8844 - val_loss: 0.6918 - val_accuracy: 0.5275
Epoch 9/100
100/100 [==============================] - 65s 649ms/step - loss: 0.3913 - accuracy: 0.8994 - val_loss: 0.6923 - val_accuracy: 0.5275
Epoch 10/100
100/100 [==============================] - 68s 682ms/step - loss: 0.3495 - accuracy: 0.9106 - val_loss: 0.6930 - val_accuracy: 0.5275
最終訓練精度: 0.9106
最終検証精度: 0.5275
最終訓練損失: 0.3495
最終検証損失: 0.6930

このように出たのですが、最終的には訓練データは悪くない結果なのですが、val_lossと val_accuracyが一定になってしまいます。これは何が足りないのでしょうか？学習率、学習回数、ファインチューニングの層（最後のブロックの一部の層を解凍）の設定などいろいろしても何も変化がありません。

もしかしたらプログラミングが間違っている可能性が高いです。自分がやりたいのはモバイルネットV3を使ってファインチューニングして二値分類（正解画像と不正解画像を分類する）モデルを作りたいと考えています。誤差関数は二値交差エントロピーで出力層の出力関数はシグモイド関数です。

正解画像と不正解画像は2000枚ずつ訓練データを用意しています。

改善点やプログラムの修正点があれば教えていただきたいです。

Comments

[meg_]

参考までにどのような画像でしょうか？

[kains]

人間の唇の画像です。例えば、「あ」と発音している口を大きく開けた正解画像か、それ以外かといった二値分類をしたいです。

[quickquip]

「学習が全然足りないだけ」にも見えますが

[jbpb0]

train_datagen = ImageDataGenerator(rescale=1./255, shear_range=0.8, zoom_range=0.8, horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)
↓ 変更
train_datagen = ImageDataGenerator(shear_range=0.8, zoom_range=0.8, horizontal_flip=True)
test_datagen = ImageDataGenerator()

で、どうでしょうか？

https://www.tensorflow.org/api_docs/python/tf/keras/applications/MobileNetV3Small
の「Note:」に
「For MobileNetV3, by default input preprocessing is included as a part of the model」
と書かれてるように、正規化はモデル内でされるので、別途255で割る必要は無いはず

[kains]

コメントありがとうございます。jbpb0を試したところ問題が解決しました！
ベストアンサーに選びたいので同じ内容を回答欄に投稿いただけますでしょうか？

とても良い制度が得られました。ただ、どうして指摘されたコードを変更したら改善されたのか解説が欲しいです。初心者なので教えいただければ幸いです。よろしくお願いします。
==============================] - 64s 728ms/step - loss: 0.0119 - accuracy: 0.9961 - val_loss: 0.0065 - val_accuracy: 0.9967

​

[jbpb0]

> どうして指摘されたコードを変更したら改善されたのか

私の一つ前のコメントの後半を見てください

[kains]

大変失礼しました。見落としてました。ありがとうございます

Answer 1

正解画像と不正解画像は2000枚ずつ訓練データを用意しています。
Found 3200 validated image filenames belonging to 2 classes.
Found 800 validated image filenames belonging to 2 classes.

人間の唇の画像です。例えば、「あ」と発音している口を大きく開けた正解画像か、それ以外かといった二値分類をしたいです。

上記情報により「あ」の画像は2000枚あるが、「い」「う」「え」「お」のそれぞれの画像はそれよりもかなり少なく、またバラツキも考えられます。
可能性ですが訓練データに「あ」の画像が多くあり「あ」について過学習していて、バリデーションデータでは正解率が低くなっているかもしれません。

random_stateを固定せずに正解率の変化を観察してみたり、train_test_splitのstratifyを使用して過学習が改善されるか確認してみてはどうでしょうか？

Comments

[kains]

ご指摘ありがとうございます！
train_df, test_df = train_test_split(df, test_size=0.5, stratify=df['class'])にしたところ結果は以下のようになりました。
Epoch 1/100
63/63 [==============================] - ETA: 0s - loss: 0.6928 - accuracy: 0.5195
C:\anaconda\Lib\site-packages\keras\src\engine\training.py:3103: UserWarning: You are saving your model as an HDF5 file via `model.save()`. This file format is considered legacy. We recommend using instead the native Keras format, e.g. `model.save('my_model.keras')`.
saving_api.save_model(
63/63 [==============================] - 80s 1s/step - loss: 0.6928 - accuracy: 0.5195 - val_loss: 0.7045 - val_accuracy: 0.5000
Epoch 2/100
63/63 [==============================] - 55s 872ms/step - loss: 0.6885 - accuracy: 0.5530 - val_loss: 0.7032 - val_accuracy: 0.5000
Epoch 3/100
63/63 [==============================] - 56s 891ms/step - loss: 0.6840 - accuracy: 0.5465 - val_loss: 0.7020 - val_accuracy: 0.5000
Epoch 4/100
63/63 [==============================] - 52s 821ms/step - loss: 0.6775 - accuracy: 0.6655 - val_loss: 0.6996 - val_accuracy: 0.5000
Epoch 5/100
63/63 [==============================] - 52s 830ms/step - loss: 0.6695 - accuracy: 0.6785 - val_loss: 0.6986 - val_accuracy: 0.5000
Epoch 6/100
63/63 [==============================] - 55s 879ms/step - loss: 0.6599 - accuracy: 0.6835 - val_loss: 0.6980 - val_accuracy: 0.5000
Epoch 7/100
63/63 [==============================] - 58s 928ms/step - loss: 0.6349 - accuracy: 0.8515 - val_loss: 0.6967 - val_accuracy: 0.5000
Epoch 8/100
63/63 [==============================] - 55s 862ms/step - loss: 0.5813 - accuracy: 0.8965 - val_loss: 0.6964 - val_accuracy: 0.5000
Epoch 9/100
63/63 [==============================] - 52s 829ms/step - loss: 0.5217 - accuracy: 0.8985 - val_loss: 0.6940 - val_accuracy: 0.5000
Epoch 10/100
63/63 [==============================] - 53s 838ms/step - loss: 0.4657 - accuracy: 0.9030 - val_loss: 0.6921 - val_accuracy: 0.5000
Epoch 11/100
63/63 [==============================] - 53s 836ms/step - loss: 0.4164 - accuracy: 0.9055 - val_loss: 0.6903 - val_accuracy: 0.5000
Epoch 12/100
63/63 [==============================] - 52s 830ms/step - loss: 0.3613 - accuracy: 0.9200 - val_loss: 0.6876 - val_accuracy: 0.5000
Epoch 13/100
63/63 [==============================] - 51s 820ms/step - loss: 0.3118 - accuracy: 0.9360 - val_loss: 0.6862 - val_accuracy: 0.5000
Epoch 14/100
63/63 [==============================] - 52s 832ms/step - loss: 0.2950 - accuracy: 0.9200 - val_loss: 0.6852 - val_accuracy: 0.6315
Epoch 15/100
63/63 [==============================] - 52s 825ms/step - loss: 0.2497 - accuracy: 0.9385 - val_loss: 0.6845 - val_accuracy: 0.9880
Epoch 16/100
63/63 [==============================] - 53s 838ms/step - loss: 0.2233 - accuracy: 0.9435 - val_loss: 0.6839 - val_accuracy: 0.5765
Epoch 17/100
63/63 [==============================] - 58s 932ms/step - loss: 0.2096 - accuracy: 0.9465 - val_loss: 0.6835 - val_accuracy: 0.5000
Epoch 18/100
63/63 [==============================] - 59s 948ms/step - loss: 0.1922 - accuracy: 0.9510 - val_loss: 0.6829 - val_accuracy: 0.5000
Epoch 19/100
63/63 [==============================] - 55s 871ms/step - loss: 0.1602 - accuracy: 0.9625 - val_loss: 0.6830 - val_accuracy: 0.5000
Epoch 20/100
63/63 [==============================] - 54s 859ms/step - loss: 0.1752 - accuracy: 0.9480 - val_loss: 0.6832 - val_accuracy: 0.5000
最終訓練精度: 0.9480
最終検証精度: 0.5000
最終訓練損失: 0.1752
最終検証損失: 0.6832

結果は検証データはまだ一定のままでした。ご意見ありがとうございました。またお気づきの点がございましたらよろしくお願いします。

[meg_]

自分ならEarlyStoppingをやめたらどうなるか見てみたいですね。

[meg_]

あとは、検証データで誤認識したデータを観察するのも何かヒントが得られるかもしれません。