CNNでの画像識別における混同行列での確認方法に関して

Question

実現したいこと

CNNで学習させたモデルに対して、
混同行列を用いて評価したいです。

下記を参考にpythonで作成しております。
https://qiita.com/tmengine/items/4eeb6770a9a69baf9439

上記のコードを順に打ち込んでおり、
一番最後の「検証-2.混同行列」でつまづいております。
（該当のソースコード欄に実際の全コードを記載しました。
現状動作しない部分は173行目の#検証（混同行列で確認）の部分になります。）

発生している問題・分からないこと

1.参考URLをそのまま打ち込むと、hdf5ファイルが見つからない。といった内容のエラーになる。
2.プログラム中で生成したmodel（model-XXX.h5）を参照させると、
引数が適切でない。といった内容のエラーになる。

エラーメッセージ

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-72-b4c8e44d1521> in <module>
      1 from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
----> 2 best_model = models.load_model("./cnn_casting_inspection3.hdf5")
      3 
      4 y_pred_proba = best_model.predict(test_generator, verbose=1)
      5 threshold = 0.5
                   )

OSError: No file or directory found at ./cnn_casting_inspection3.hdf5

1/1 [==============================] - 0s 234ms/step
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-101-e403463aafc7> in <module>
      8 
      9 #cmd = ConfusionMatrixDisplay(confusion, [0,1])
---> 10 cmd = ConfusionMatrixDisplay(confusion, [0,1])
     11 cmd.plot(cmap=plt.cm.Blues)

TypeError: __init__() takes 2 positional arguments but 3 were given

該当のソースコード

import os
import cv2
import random
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import keras
import keras.preprocessing.image as Image
import sklearn.metrics
from keras.preprocessing.image import ImageDataGenerator
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.metrics import classification_report
from tensorflow.keras.layers import Dense, Dropout, Flatten, Input
from tensorflow.keras.models import Model, Sequential
from tensorflow.keras import preprocessing, layers, models, callbacks
from keras.callbacks import ModelCheckpoint
from keras.preprocessing.image import load_img, save_img, img_to_array, array_to_img
from keras.preprocessing import image

#CNN用
from tensorflow.keras.layers import Activation, Conv2D, Dense, Flatten, MaxPooling2D
from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.utils import to_categorical
import h5py

#モデルの定義
model = Sequential()

#データ数のチェック////////////////////////////////////
#train data数
print("OK_train :", len(os.listdir("./train/OK")))
print("NG_train :", len(os.listdir("./train/NG")) )
print("")
#test data数
print("OK_test :", len(os.listdir("./test/OK")))
print("NG_test:", len(os.listdir("./test/NG")))

#画像のチェック/////////////////////////////////////////
img_ok = "./train/OK"
lsdir = os.listdir(img_ok)

imgs = []
for i in lsdir:
    target = os.path.join(img_ok, i)
    img = cv2.imread(target)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    imgs.append(img)

count = 8
plt.figure(figsize=(15, 6))
for i, l in enumerate(random.sample(imgs, count)):#ランダムに複数の要素を選択（重複なし）
    plt.subplot(2,5, i+1)
    plt.axis('off')
    plt.title("img"+str(i))
    plt.imshow(l)   


#正規化//////////////////////////////////////////////////////////////////////////////
#kerasのImageDataGeneratorクラスのインスタンスを作成
datagen = image.ImageDataGenerator(
    rescale=1/255,
    validation_split = 0.1
)

#flow_from_directory()でディレクトリへのパスを受け取り、そこから自動でデータを読み取って加工したデータのバッチを生成
train_generator = datagen.flow_from_directory("./train/",
    class_mode='binary',
    batch_size=32,
    target_size=(300,300),
    color_mode='grayscale',
    classes={'OK':0, 'NG':1},
    shuffle=True,
    subset = "training"#はじめに書いたvalidationかtrainのデータかを指定する。
)

val_generator = datagen.flow_from_directory("./train",
    class_mode='binary',
    batch_size=32,
    target_size=(300,300),
    color_mode='grayscale',
    classes={'OK':0, 'NG':1},
    shuffle=True,
    subset = "validation"
)

#ImageDataGeneratorクラスのインスタンスを作成（テストデータ用）
test_datagen = image.ImageDataGenerator(
    rescale = 1/255
)

n_test = sum([len(files) for curDir, dirs, files in os.walk("./test")])

test_generator = test_datagen.flow_from_directory("./test",
    class_mode='binary',
    batch_size=n_test,
    target_size=(300,300),
    color_mode='grayscale',
    classes={'OK':0, 'NG':1},
    shuffle = False
)

#CNN////////////////////////////////////////////////////////////
# 畳み込み層
model.add(Conv2D(filters=16,kernel_size=(7,7),strides=(2,2),padding='same',activation='relu',input_shape=(300,300,1)))
model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2)))

model.add(Conv2D(filters=32,kernel_size=(3,3),activation='relu',padding='same'))
model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2)))

model.add(Conv2D(filters=64, kernel_size=(3,3), activation="relu", padding="same"))
model.add(MaxPooling2D(pool_size = (2,2), strides =(2,2)))

model.add(Conv2D(filters=128, kernel_size=(3,3), activation="relu", padding="same"))
model.add(MaxPooling2D(pool_size = (2,2), strides =(2,2)))

model.add(Conv2D(filters=256, kernel_size=(3,3), activation="relu", padding="same"))
model.add(MaxPooling2D(pool_size = (2,2), strides =(2,2)))

model.add(Flatten())  

model.add(Dense(units=64,activation='relu'))
model.add(Dropout(rate=0.2))
model.add(Dense(units=1,activation='sigmoid'))     

#コンパイル→ニューラルネットワークモデルの生成終了
model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])

#ニューラルネットワークの構造確認
model.summary()     

#モデルの学習
model.fit_generator(train_generator, validation_data=val_generator, epochs=10)


#学習//////////////////////////////////////////////////
%%time
filepath = "./model/model-{epoch:02d}.h5"

# エポックごとにモデルを保存するかチェック
checkpoint = ModelCheckpoint (
    filepath=filepath,
    monitor='val_loss',  #評価をチェックする対象
    verbose=1,
    save_best_only=True,  # 精度が向上した場合のみ保存する。
    mode='min',  
    period=1 )

H = model.fit(
    train_generator,
    validation_data=val_generator, 
    epochs=20,
    callbacks=[checkpoint],
)

#損失関数の確認
#accuracy・・・正解率
#loss・・・正解と予測値の差。小さいとよい。
#val・・・validation(検証)

fig = plt.figure(figsize=(8, 6))

plt.plot(H.history['accuracy'], label='acc', ls='-', marker='o')  
plt.plot(H.history['val_accuracy'], label='val_acc', ls='-', marker='x')  
plt.plot(H.history['loss'], label='loss', ls='-', marker='o') 
plt.plot(H.history['val_loss'], label='val_loss', ls='-', marker='x') 
plt.title('Model Evaluaton') 
plt.xlabel('epoch') 
plt.ylabel('')  
plt.legend(['acc', 'val_acc', 'loss', 'val_loss']) 
plt.grid(color='gray', alpha=0.2) 

#検証（混同行列で確認）////////////////////////////////////////////////////////////////////////
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
#best_model = models.load_model("./cnn_casting_inspection3.hdf5")#←発生している問題1の該当部分
best_model = models.load_model("./model/model-40.h5")#←発生している問題1はこのコードに直すと、解消される

y_pred_proba = best_model.predict(test_generator, verbose=1)
threshold = 0.5
y_pred = y_pred_proba >= threshold

confusion = confusion_matrix(y_pred, y_pred) #←追加コード:第1引数に正解のデータを入れたい

cmd = ConfusionMatrixDisplay(confusion, [0,1]) #←発生している問題2の該当部分
cmd.plot(cmap=plt.cm.Blues)

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

1.「import h5py」コードを追加しましたが、結果は変わりません。
バージョン・・・h5py:2.10.0
2.googleで「models.load_model」のワードで検索しましたが、
hdf5を読み込んでいる他の参考コードは見つかりませんでした。

3.ConfusionMatrixDisplayの引数を下記のように変更。

cmd = ConfusionMatrixDisplay(confusion, [0,1]) #←発生している問題2の該当部分

cmd = ConfusionMatrixDisplay(confusion_matrix = confusion_matrix,   display_labels = [0,1])

すると、別のerrorコードが発生。

1/1 [==============================] - 0s 230ms/step
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-100-b1f4923769f1> in <module>
      9 #cmd = ConfusionMatrixDisplay(confusion, [0,2])
     10 cmd = ConfusionMatrixDisplay(confusion_matrix = confusion_matrix,   display_labels = [0,1])
---> 11 cmd.plot(cmap=plt.cm.Blues)

~\anaconda3\lib\site-packages\sklearn\utils\validation.py in inner_f(*args, **kwargs)
     71                           FutureWarning)
     72         kwargs.update({k: arg for k, arg in zip(sig.parameters, args)})
---> 73         return f(**kwargs)
     74     return inner_f
     75 

~\anaconda3\lib\site-packages\sklearn\metrics\_plot\confusion_matrix.py in plot(self, include_values, cmap, xticks_rotation, values_format, ax)
     84 
     85         cm = self.confusion_matrix
---> 86         n_classes = cm.shape[0]
     87         self.im_ = ax.imshow(cm, interpolation='nearest', cmap=cmap)
     88         self.text_ = None

AttributeError: 'function' object has no attribute 'shape'

↓表示される図

4.182行目に下記コードを追加(該当のソースコードに記入済み)すると、
混同行列自体は表示されるようになりました。
しかし、confusion_matrixの第1引数に正解データを入れたいのですが、
ここがわかりません。
y_predの中身を確認すると、下記のような配列になっているので、

array([[False], [False], [ True],....)

正解データも同様の形式で配列に格納したいです。

confusion = confusion_matrix(y_pred, y_pred) #←追加コード:第1引数に正解のデータを入れたい

↓表示された混同行列

補足

Python 3.8.3

Comments

[meg_]

「混同行列を用いて評価したい」モデルを指定してください。

[python01]

modelフォルダ内に生成している「model-40.h5」を用いて
試しましたが、下記エラーが返ってきました。

引数の指定が間違っているとのエラーのようなので、
下記のような書き方が必要なのでしょうか？

ConfusionMatrixDisplay(引数1,引数2=XX)

この辺を調べているのですが、いまいち理解できません。

--- code ---------------------------------------------------------------------------
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
#best_model = models.load_model("./cnn_casting_inspection3.hdf5")
best_model = models.load_model("./model/model-40.h5")

y_pred_proba = best_model.predict(test_generator, verbose=1)
threshold = 0.5
y_pred = y_pred_proba >= threshold
cmd = ConfusionMatrixDisplay(confusion, [0,1])
cmd.plot(cmap=plt.cm.Blues)
-----------------------------------------------------------------------------------

---- error-------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-94-9e81cb7aafde> in <module>
6 threshold = 0.5
7 y_pred = y_pred_proba >= threshold
----> 8 cmd = ConfusionMatrixDisplay(confusion, [0,1])
9 cmd.plot(cmap=plt.cm.Blues)

TypeError: __init__() takes 2 positional arguments but 3 were given

[meg_]

エラーメッセージは抜粋では内容が良く分かりません。
質問に状況を追記されてはいかがでしょうか？

[python01]

質問に全コードを記載しました。
また本文の発生している事を2つに分け、
試した事３を追加しました。

今の状況を簡単にまとめると下記になります。
----------------------------------------------------------------------------------------
発生している事１：hdf5ファイルがみつからない
発生している事２：hdf5ファイルの代わりに、model-40.h5を探すようにする。
　　　　　　　　　→model-40.h5は探せたようだが、
　　　　　　　　　　ConfusionMatrixDisplayでエラー（引数が間違っている？）
試した事3：ConfusionMatrixDisplayの引数を変更
　　　　　　→図が正しく描写されない
----------------------------------------------------------------------------------------

Answer 1

ConfusionMatrixDisplayの第一引数には作成した混同行列を渡してください。
詳細はsklearn.metrics.ConfusionMatrixDisplayをご覧ください。

以下は上記ドキュメントからの抜粋です。

import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
X, y = make_classification(random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                    random_state=0)
clf = SVC(random_state=0)
clf.fit(X_train, y_train)
predictions = clf.predict(X_test)
cm = confusion_matrix(y_test, predictions, labels=clf.classes_)
disp = ConfusionMatrixDisplay(confusion_matrix=cm,
                              display_labels=clf.classes_)
disp.plot()
plt.show()

Comments

[python01]

ご教授ありがとうございます。混同行列の表示はできるようになりました。
もう一息でできそうです。

「試した事の4番目」にも追加しましたが、
正解データを配列で格納できるといいのですが、ここの操作がわかりません。
「試した事の4番目」をご確認頂けないでしょうか？

検証時の正解データはval_generatorに入ってそうなので、
この辺をいじれば、できそうな気がしますが。

[meg_]

test_generator.classesでどうでしょうか？

[python01]

ご教示頂いた内容で正常に動作しました！
大変ありがとうございます！！

変更前：confusion = confusion_matrix(test_generator., y_pred)
変更後：confusion = confusion_matrix(test_generator.classes, y_pred)