Val_accuracyの値が変化しない。

Question

現在、製品の不良品を検知するプログラムをGoogle Colaboratoryで作成しようとしています。
VGG16を転移学習して、識別しようとしているのですが現在、損失関数と識別率が以下の通りになっておりまったく学習できていない状態です。
このような現状を解決するアドバイスをいただきたいです。
![

また、val_accuracyの値が変化しないです。

Epoch 1/100
5/5 [==============================] - 5s 1s/step - loss: 0.8709 - accuracy: 0.4800 - val_loss: 0.7470 - val_accuracy: 0.2240
Epoch 2/100
5/5 [==============================] - 4s 982ms/step - loss: 0.6408 - accuracy: 0.6160 - val_loss: 0.9470 - val_accuracy: 0.2000
Epoch 3/100
5/5 [==============================] - 4s 981ms/step - loss: 0.4567 - accuracy: 0.7680 - val_loss: 1.2471 - val_accuracy: 0.2000
Epoch 4/100
5/5 [==============================] - 5s 1s/step - loss: 0.3266 - accuracy: 0.9040 - val_loss: 1.5914 - val_accuracy: 0.2000
Epoch 5/100
5/5 [==============================] - 4s 982ms/step - loss: 0.1663 - accuracy: 0.9920 - val_loss: 1.9080 - val_accuracy: 0.2000

以下コード全文です。

from google.colab import drive
drive.mount('/content/drive')

import pandas as pd
import os
import numpy as np
from keras.applications.vgg16 import VGG16
from keras.preprocessing.image import load_img, img_to_array
from keras.models import Sequential, Model
from keras import models
from keras import layers
from keras import regularizers
from tensorflow.keras.optimizers import SGD
from keras.layers import Input, Dense, GlobalAveragePooling2D, Dropout, Activation, Flatten
from tensorflow.keras.utils import to_categorical

numOfTrainImage = 250
mini_batch = (int)(numOfTrainImage / 2 / 5)
max_epoch = 100
numOfTestImage = 100

#学習用画像とラベルの対応表
df = pd.read_csv('drive/MyDrive/train.csv', delimiter=',')
df.head(5)

#学習用画像の読み込み
dir_name = os.path.join('drive/MyDrive/train_data')

imgarray = []
category = []

for filename in sorted(os.listdir(dir_name)[0:numOfTrainImage]):
  img = load_img(os.path.join(dir_name, filename), color_mode='rgb', target_size=(300,300))
  imgdata = img_to_array(img)
  imgdata = imgdata / 255.0
  imgarray.append(imgdata)
  temp = df[df['id']==filename].target
  label = df[df['id']==filename].target.values[0]
  category.append(label)

x_train = np.array(imgarray)
t_train = to_categorical(np.array(category))
p = np.random.permutation(len(x_train))
x_train, y_train = x_train[p], t_train[p]
print("x_train.shape = ", x_train.shape, "t_train.shape = ", t_train.shape)

#モデルの構築
input_tensor = Input(shape=(300, 300, 3))
vgg16 = VGG16(include_top=False, weights='imagenet', input_tensor=input_tensor)

top_model = vgg16.output
top_model=GlobalAveragePooling2D()(top_model)
top_model = Flatten(input_shape=vgg16.output_shape[1:])(top_model)
top_model = Dense(256, activation='relu')(top_model)
top_model = Dropout(0.5)(top_model)
top_model = Dense(2, activation='softmax')(top_model)
network=Model(inputs=vgg16.input, outputs=top_model)

for layer in network.layers[:19]:
    layer.trainable=False

network.summary()

network.compile(loss='categorical_crossentropy', optimizer=SGD(lr=1e-4, momentum=0.9), metrics=['accuracy'])

history = network.fit(x_train, t_train, epochs=max_epoch, batch_size=mini_batch, validation_split=0.5, shuffle=True)

acc_train  = np.array(history.history['accuracy'])
acc_valid  = history.history['val_accuracy']
loss_train = history.history['loss']
loss_valid = history.history['val_loss']

f = open('temp_epoch_loss.dat', 'w')
for n in range(0,len(acc_train)):
  f.write(str(n) + ' ' + str(acc_train[n]) + ' ' + str(loss_train[n]) + ' ' + str(acc_valid[n]) + ' ' + str(loss_valid[n]) + '\n')
f.close()

import matplotlib.pyplot as plt

epochs = range(1, len(loss_train) + 1)
plt.plot(epochs, loss_train, 'bo', label='Training loss')
plt.plot(epochs, loss_valid, 'b',  label='Validatoin loss')
plt.title('Training and Validation Loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

plt.plot(epochs, acc_train, 'bo', label='Training acc')
plt.plot(epochs, acc_valid, 'b',  label='Validation acc')
plt.title('Training and Validation Accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

#テスト画像の読み込み
dir_name = os.path.join('drive/MyDrive/test_data')
imgarray = []
filenamearray = []
for filename in sorted(os.listdir(dir_name)[0:100]):
  img = load_img(os.path.join(dir_name, filename), color_mode='rgb', target_size=(300,300))

  imgdata = img_to_array(img)
  imgdata = imgdata / 255.0
  imgarray.append(imgdata)
  filenamearray.append(filename)

x_test = np.array(imgarray)

y_test = network.predict(x_test)
numOfImages, dummy = y_test.shape

for n in range(0, numOfTestImage):
  print(filenamearray[n], end='')
  for k in range(0,2):
    print('%6.3f' % y_test[n][k], end='')
  print()
predict_x=network.predict(x_test)
y_test = np.argmax(predict_x,axis=1)

f = open('submit.csv', 'w')
for n in range(0, numOfImages):
  print(filenamearray[n], y_test[n], sep='\t', file=f)
f.close()

追記事項

以下のような特徴量の少ない製品の料品や不良品の検知をしようとしています。
![

Comments

[meg_]

> 製品の不良品を検知する
データはどのようなものでしょうか？前処理はどのようにされましたか？

[Luiahu]

追記事項に識別したい製品の画像を追加させていただきました。

[meg_]

（データにおける）良品と不良品の比率は半々ですか？

[Luiahu]

そうですね、テスト画像も学習用画像も良品と不良品の数は同じです。

[meg_]

そうですか。
学習は何度トライしても画像のようになるのでしょうか？（訓練データのlossは減少するがバリデーションデータのlossは減少しない）

[Luiahu]

そうですね。
何度トライしてもval_lossの値が減少しない状態ですね。

[meg_]

訓練データでは訓練できたいるようなので、一度訓練データとバリデーションデータに差がないか目視で確認してみてはどうでしょうか？

Answer 1

正常/異常のデータ数は同数であり2択問題で validation では 20% しか出ていないということは、まったく学習ができていない（＝50%前後）とは違い、学習方法に異常があると思います。

drive/MyDrive/train.csvのデータの並び順はどうなっていますか？
正常/異常データがシャッフルされて並んでいるのではなく、正常→異常データの順に並んでいませんか？

network.fit()のvlidation_split=0.5はシャッフル前のx_train, t_trainの末尾から50%をvalidationデータとするため、x_trainの前半に正常、後半に異常と並んでしまっていたら、正常データのみで学習し、異常データのみで検証していることになってます。

その場合は、
①network.fit()する前にx_train, t_trainを自発的にシャッフルするか、
②validation_data=(x_val, t_val)としてデータを自分で定義するかをしてあげましょう。

Comments

[Luiahu]

回答いただきありがとうございます。
確かに、train.csvの並びは正常→異常の順に並んでいます。
そのために、以下のコードでx_trainとt_trainをランダムに変更しているつもりだったのですができていないということでしょうか？
///コード
p = np.random.permutation(len(x_train))
x_train, y_train = x_train[p], t_train[p]

[HRCo4]

すみません、x_train = np.array(imgarray) まで読んでて、p = np.random.permutation(len(x_train)) の部分を見落としてました。
それでしたら、入力データに異常はなさそうな気はします。
ただ、それでも、2epoch目から val_acc が 0.2 に張り付いてピクリともしないのは変ですね。
何か4:1に関するもので記憶にありませんか？

[Luiahu]

4:1に関するものに記憶は無いですね。
あと、勘違いしていたのですがトレーニング画像は、良品が150枚で不良品が100枚でした。申し訳ないです。