畳み込みニューラルネットワークで学習データとテストデータを用意し、混同行列を作成したい。

Question

前提・実現したいこと

初めての投稿です。
CNNで画像を学習させているのですが、困っているのでお力を貸していただきたいです。
機械学習・python初心者のため基礎的な質問でしたら申し訳ありません。

やりたいこと

学習用データ
dataset　normal 4500枚
dataset abnormal　150枚
テスト用データ
dataset　normal　1500枚
dataset abnormal　50枚

を読み込み、CNNで学習して混同行列を作成したいのですが下記に示しているようなエラーが出ます。

テストデータを読み込んだ部分でミスをしていると考えているのですが、改善策があれば教えていただきたいです。

ちなみにコード内で学習結果のグラフも出すようにしていますが、学習がうまくいっていないのかTrainもValidationの推移（線）も表示されていません。

import keras
import glob
import numpy as np
from sklearn.model_selection import train_test_split
from tensorflow.keras.preprocessing.image import load_img, img_to_array
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.layers import Dense, Dropout, Flatten 
from tensorflow.keras.utils import to_categorical
from tensorflow.keras.optimizers import Adam
import matplotlib.pyplot as plt
import time
import pickle
from sklearn.metrics import confusion_matrix 
from sklearn import metrics 
from sklearn.metrics import precision_score 
from sklearn.metrics import recall_score 

def set random_seed(seed): 
    
    random.seed(seed) 
   
    np.random.seed (seed)  tf.set_random_seed(seed)

    
train_data_path = 'dataset' 

test_data_path = 'dataset1'    

image_size = 28 

color_setting = 3

folder = ['normal', 'abnormal'] 
folders = ['normal', 'abnormal']

class_number = len(folder)
print('今回のデータで分類するクラス数は「', str(class_number), '」です。')


X_image = []  
Y_label = [] 
X1_image = []
Y1_label = []

for index, name in enumerate(folder):
  read_data = train_data_path + '/' + name
  files = glob.glob(read_data + '/*.jpg') 
  print('--- 読み込んだデータセットは', read_data, 'です。')

  for i, file in enumerate(files):  
    if color_setting == 1:
      img = load_img(file, color_mode = 'grayscale' ,target_size=(image_size, image_size))  
    elif color_setting == 3:
      img = load_img(file, color_mode = 'rgb' ,target_size=(image_size, image_size))
    array = img_to_array(img)
    X_image.append(array)
    Y_label.append(index)

for index1, name in enumerate(folders):
  read_data1 = test_data_path + '/' + name
  files1 = glob.glob(read_data1 + '/*.jpg') 
  print('--- 読み込んだデータセットは', read_data1, 'です。')

  for j, file1 in enumerate(files1):  
    if color_setting == 1:
      img1 = load_img(file1, color_mode = 'grayscale' ,target_size=(image_size, image_size))  
    elif color_setting == 3:
      img1 = load_img(file1, color_mode = 'rgb' ,target_size=(image_size, image_size))
    array = img_to_array(img1)
    X1_image.append(array)
    Y1_label.append(index)

X_image = np.array(X_image)
Y_label = np.array(Y_label)

X1_image = np.array(X1_image)
Y1_label = np.array(Y1_label)

X_image = X_image.astype('float32') / 255
Y_label = to_categorical(Y_label, class_number) 

X1_image = X1_image.astype('float32') / 255
Y1_label = to_categorical(Y1_label, class_number) 

x_train = X_image
y_train = Y_label
x_test = X1_image
y_test = Y1_label

#4 機械学習（人工知能）モデルの作成 – 畳み込みニューラルネットワーク（CNN）・学習の実行等

model = Sequential()
model.add(Conv2D(16, (3, 3), padding='same',
          input_shape=(image_size, image_size, color_setting), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))               
model.add(Conv2D(128, (3, 3), padding='same', activation='relu'))
model.add(Conv2D(256, (3, 3), padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))                
model.add(Dropout(0.5))                                   
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.25))                                 
model.add(Dense(class_number, activation='softmax'))

model.summary()

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['accuracy'])

start_time = time.time()

history = model.fit(x_train,y_train, batch_size=128, epochs=5, verbose=1, validation_data=(x_test, y_test))

print (metrics.conf usion_matrix(y_test.argmax(axis-1), model.predict(x_test).argmax(axis=1))) 

print (recall score (y_test.ar gmax(axis=1), model.predict(x_test).argmax(axis=1))) 

print (precision_score(y_test.ar gmax(axis=1), model.predict(x_test).argmax(axis=1)))

plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('Model accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epoch')
plt.grid()
plt.legend(['Train', 'Validation'], loc='upper left')
plt.show()

plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model loss')
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.grid()
plt.legend(['Train', 'Validation'], loc='upper left')
plt.show()

open('cnn_model.json','w').write(model.to_json())　
model.save_weights('cnn_weights.h5') 
#model.save('cnn_model_weight.h5') #モデル構造と重みを1つにまとめることもできます

score = model.evaluate(x_test, y_test, verbose=0)
print('Loss:', score[0], '（損失関数値 - 0に近いほど正解に近い）') 
print('Accuracy:', score[1] * 100, '%', '（精度 - 100% に近いほど正解に近い）') 
print('Computation time（計算時間）:{0:.3f} sec（秒）'.format(time.time() - start_time))

結果とエラーメッセージ

混同行列の部分のみ表示します。（下記コード）
"print (metrics.conf usion_matrix(y_test.argmax(axis-1), model.predict(x_test).argmax(axis=1))) "

"print (recall score (y_test.ar gmax(axis=1), model.predict(x_test).argmax(axis=1))) "

"print (precision_score(y_test.ar gmax(axis=1), model.predict(x_test).argmax(axis=1)))"

[[    0   0]
 [ 1550   0]]

0.0

UndefinedMetricWarning: Precision is ill-defined an d being set to 0.0 due to no predicted samples. Use zero_division parameter to control this behavior. _warn prf (average, modifier, msg_start, len (result))

0.0

Comments

[meg_]

> CNNで学習して混同行列を作成したいのですが下記に示しているようなエラーが出ます。
UndefinedMetricWarningですのでエラーではなくウォーニングですね。

> ちなみにコード内で学習結果のグラフも出すようにしていますが、学習がうまくいっていないのかTrainもValidationの推移（線）も表示されていません。
学習していなくても何らかのグラフは出るかと思うのですが、history.history['accuracy']の値はどうなっていましたか？

[yutoto]

> UndefinedMetricWarningですのでエラーではなくウォーニングですね。
ウォーニングということは問題はないということで大丈夫でしょつな？
> 学習していなくても何らかのグラフは出るかと思うのですが、history.history['accuracy']の値はどうなっていましたか？
分かりにくい表現で申し訳ありません。グラフ自体は出ています。
history.history['accuracy']の値は0.9800347089767456となっています。
ちなみに
print('Accuracy:', score[1] * 100, '%', '（精度 - 100% に近いほど正解に近い）')
は0.0%となっています。

[meg_]

学習の精度が98%ということですか？テストデータの精度はいくつでしたか？

[meg_]

ウォーニングの原因はhttps://datalove.hatenadiary.jp/entry/how-to-resolve-f-score-ill-defined-errorでしょうか？

[yutoto]

ご返信ありがとうございます。
学習の精度が98%ということです。
テストデータは0.0%となっております。

ウォーニングの原因はそれだと思います。ありがとうございました！

[jbpb0]

質問のコードは、本当に実行してるコードですか？
「def set random_seed(seed):」でエラーになるのですが
(「set」の次にスペースがあるため)

そこを「def set_random_seed(seed):」と変えても、
「 np.random.seed (seed) tf.set_random_seed(seed)」
でエラーになるし
(「 tf.set_random_seed(seed)」の前の改行が抜けてる)

他にも、「print (recall score (...」の「recall」の次の「_」が抜けてるとか、
「y_test.ar gmax(axis=1)」の「ar」の次にスペースが入ってるとか、
「axis=1」が「axis-1」になってるとか、あちこちおかしい

[jbpb0]

> 学習の精度が98%ということです。
テストデータは0.0%となっております。

test_data_path = 'dataset1'

を

test_data_path = 'dataset'

と変えて、テストデータに学習データと同じものを使った場合は、どうなりますか？

【追記】
私の「2021/09/06 11:33」のコメントに書いたように、テストデータのファイルを読み込むコードに間違いがあるため、上記を行なっても意味がありませんので、無視してください

[jbpb0]

> テスト用データ
dataset　normal　1500枚
dataset abnormal　50枚

> [[ 0 0]
[ 1550 0]]

1550枚が全て「abnormal」に分類されても、約3%の50枚は合ってるのだから、

> テストデータは0.0%となっております。

は変ですね

[jbpb0]

「for index1, name in enumerate(folders):」のループの最後が間違ってます

Y1_label.append(index)
↓ 修正
Y1_label.append(index1)

この間違いで、「y_test」は全て「abnormal」になってしまう

上記を直して、私の「2021/09/06 08:42」のコメントで指摘したような明らかな書き間違いと思われるところも全部直して、適当な2種類に画像を分類するデータセットを使って当方のMacでコードを動かしてみたら、ちゃんと学習されて、「print」文で表示される各数値もそれなりの値が表示されました

Answer 1

    Y1_label.append(index)

↓ 修正

    Y1_label.append(index1)

【追記】
上記の修正の他に、明らかな書き間違いと思われるところも全部直した下記のコードで、適当な2種類に画像を分類するデータセットを使って、Google Colabで実行したところ、正常に学習され、「print」文で表示される各数値もそれなりの正しそうな値が表示されました

#import keras
import glob
import numpy as np
from sklearn.model_selection import train_test_split
from tensorflow.keras.preprocessing.image import load_img, img_to_array
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.layers import Dense, Dropout, Flatten 
from tensorflow.keras.utils import to_categorical
from tensorflow.keras.optimizers import Adam
import matplotlib.pyplot as plt
import time
import pickle
from sklearn.metrics import confusion_matrix 
from sklearn import metrics 
from sklearn.metrics import precision_score 
from sklearn.metrics import recall_score 

'''
def set_random_seed(seed):
  random.seed(seed) 
  np.random.seed (seed)
  tf.set_random_seed(seed)
'''

train_data_path = 'dataset' 

test_data_path = 'dataset1'    

image_size = 28 

color_setting = 3

folder = ['normal', 'abnormal'] 
folders = ['normal', 'abnormal']

class_number = len(folder)
print('今回のデータで分類するクラス数は「', str(class_number), '」です。')

X_image = []  
Y_label = [] 
X1_image = []
Y1_label = []

for index, name in enumerate(folder):
  read_data = train_data_path + '/' + name
  files = glob.glob(read_data + '/*.jpg') 
  print('--- 読み込んだデータセットは', read_data, 'です。')
  for i, file in enumerate(files):  
    if color_setting == 1:
      img = load_img(file, color_mode = 'grayscale' ,target_size=(image_size, image_size))  
    elif color_setting == 3:
      img = load_img(file, color_mode = 'rgb' ,target_size=(image_size, image_size))
    array = img_to_array(img)
    X_image.append(array)
    Y_label.append(index)

for index1, name in enumerate(folders):
  read_data1 = test_data_path + '/' + name
  files1 = glob.glob(read_data1 + '/*.jpg') 
  print('--- 読み込んだデータセットは', read_data1, 'です。')
  for j, file1 in enumerate(files1):  
    if color_setting == 1:
      img1 = load_img(file1, color_mode = 'grayscale' ,target_size=(image_size, image_size))  
    elif color_setting == 3:
      img1 = load_img(file1, color_mode = 'rgb' ,target_size=(image_size, image_size))
    array = img_to_array(img1)
    X1_image.append(array)
    #Y1_label.append(index)
    Y1_label.append(index1)

X_image = np.array(X_image)
Y_label = np.array(Y_label)

X1_image = np.array(X1_image)
Y1_label = np.array(Y1_label)

X_image = X_image.astype('float32') / 255
Y_label = to_categorical(Y_label, class_number) 

X1_image = X1_image.astype('float32') / 255
Y1_label = to_categorical(Y1_label, class_number) 

x_train = X_image
y_train = Y_label
x_test = X1_image
y_test = Y1_label

#4 機械学習（人工知能）モデルの作成 – 畳み込みニューラルネットワーク（CNN）・学習の実行等

model = Sequential()
model.add(Conv2D(16, (3, 3), padding='same',
          input_shape=(image_size, image_size, color_setting), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))               
model.add(Conv2D(128, (3, 3), padding='same', activation='relu'))
model.add(Conv2D(256, (3, 3), padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))                
model.add(Dropout(0.5))                                   
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.25))                                 
model.add(Dense(class_number, activation='softmax'))

model.summary()

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['accuracy'])

start_time = time.time()

history = model.fit(x_train,y_train, batch_size=128, epochs=5, verbose=1, validation_data=(x_test, y_test))

print (metrics.confusion_matrix(y_test.argmax(axis=1), model.predict(x_test).argmax(axis=1))) 

print (recall_score(y_test.argmax(axis=1), model.predict(x_test).argmax(axis=1))) 

print (precision_score(y_test.argmax(axis=1), model.predict(x_test).argmax(axis=1)))

plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('Model accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epoch')
plt.grid()
plt.legend(['Train', 'Validation'], loc='upper left')
plt.show()

plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model loss')
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.grid()
plt.legend(['Train', 'Validation'], loc='upper left')
plt.show()

open('cnn_model.json','w').write(model.to_json())
model.save_weights('cnn_weights.h5') 
#model.save('cnn_model_weight.h5') #モデル構造と重みを1つにまとめることもできます

score = model.evaluate(x_test, y_test, verbose=0)
print('Loss:', score[0], '（損失関数値 - 0に近いほど正解に近い）') 
print('Accuracy:', score[1] * 100, '%', '（精度 - 100% に近いほど正解に近い）') 
print('Computation time（計算時間）:{0:.3f} sec（秒）'.format(time.time() - start_time))