keras クラスごとの精度

Question

kerasにて画像の判別機を作成しております。
学習データの精度の偏りを見るためにクラスごとの精度をグラフ表示したいのですが、どのようにしたらいいでしょうか？

# coding:utf-8

import keras
from keras.utils import np_utils
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation, Flatten
from keras.preprocessing.image import array_to_img, img_to_array, list_pictures, load_img
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from keras.preprocessing.image import ImageDataGenerator
from keras.preprocessing import image



#【学習データの読み込み】
X = []
Y = []#category_name
datagen = ImageDataGenerator(horizontal_flip=True)
max_img_num = 10


# a画像
for picture in list_pictures('dir/pic/a'):
    img = img_to_array(load_img(picture, target_size=(32,32)))
    X.append(img)
    Y.append(0)

# b画像
for picture in list_pictures('/dir/pic/b'):
    img = img_to_array(load_img(picture, target_size=(32,32)))
    X.append(img)
    X.append(img2)

    Y.append(1)

# 画素値を0から1の範囲に変換
X = X.astype('float32')
X = X / 255.0

# クラスの形式を変換
Y = np_utils.to_categorical(Y, 1)

# 学習用データとテストデータ
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2)

# 【CNNを構築】
model = Sequential()

model.add(Conv2D(32, (3, 3), padding='same',
                 input_shape=X_train.shape[1:]))

model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.6))
model.add(Dense(2))
model.add(Activation('softmax'))

# 【コンパイル】
model.compile(loss='categorical_crossentropy',#損失関数
              optimizer='adam',#最適化、オブジェクト
              metrics=['accuracy'])#評価関数、正解率

#【学習実行】
history = model.fit(X_train, y_train, batch_size=64, epochs=1,
                   validation_data = (X_test, y_test), verbose = 1)


score = model.evaluate(X_test, y_test, verbose = 1)
print("正解", score[1], "loss", score[0])

#【学習をグラフ表示】
%matplotlib inline
plt.plot(history.history['acc'])
plt.plot(history.history['val_acc'])
plt.title('model accuracy')
plt.legend(['train', 'test'], loc='upper left')
plt.show()    
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('model loss')
plt.legend(['loss', 'val_loss'], loc='upper left')
plt.show()

この場合aとbの画像に対しての精度を見たいです。

宜しくお願い致します。

Answer 1

とりあえず混同行列（Confusion Matrix） - 何個が正しく判定され、何個が誤って判定されたかをクロス表にまとめたもの - を書くとよいかと思います。

from sklearn.metrics import confusion_matrix

predict_classes = model.predict_classes(X_test)
true_classes = np.argmax(y_test, 1)
cmx = confusion_matrix(true_classes, predict_classes)
print(cmx)

この結果はSeaborn を使ってヒートマップで表示しても良いかと思いますが

import seaborn as sns
sns.heatmap(cmx, annot=True, fmt='g', square=True)
plt.show()

２値分類だとあまり効果は無い気もしますね。

Comments

[22Go]

ありがとうございます。何かツールとして存在するかと思っていましたが、なかなかちょうどいいものがないので、magichan様のものを試してみたいと思います。ありがとうございます。