accuracyの値と混同行列の結果が一致しない

Question

下記のコードを実行しても、accuracyの値と混同行列の結果が一致しません。
accuracy: 0.9191
loss: 0.2799
accとlossが上記の値であることに対して、混同行列は以下のようになりました。
これでは、acc : 0.466　になってしまいます。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix

predict_classes =np.argmax(predict_proba,axis=1)
true_label = test_generator.classes
cm = metrics.confusion_matrix(true_label, predict_classes)
print(cm)

[[  2  40  30]
 [ 30 470 368]
 [ 30 405 319]]

また、accuracyとlossは以下のように計算しました。

#data generate
test_datagen=ImageDataGenerator(rescale=1.0/255)

test_generator=test_datagen.flow_from_directory(
    test_dir,
    target_size=(224,224),
    batch_size=batch_size,
    classes=classes,
    class_mode='categorical',
    shuffle=True
)

#evaluate model
score=model.evaluate_generator(test_generator)
print('\n test loss:',score[0])
print('\n test_acc:',score[1])

Comments

[aokikenichi]

「accuracy: 0.9191」
はどのように計算したのでしょうか
それがないとなんとも言えません

[rest]

依頼承りました。
質問の閲覧ありがとうございます。

[aokikenichi]

たしかにおかしいですね
ただ、例示いただいたコード

from sklearn.metrics import confusion_matrix
（中略）
cm = metrics.confusion_matrix(true_label, predict_classes)

だと動かず
cm = confusion_matrix(true_label, predict_classes)
ですね。
その他転記違いとかないでしょうか

[rest]

転記違いはご指摘の通りです。
また、色々考えてみた結果、この行列がおかしくなった原因は、test_generatorのshuffle=Trueの点にあることに気づきました。
shuffle=Trueにすると、
① true_label はシャッフル前の真のラベル
② predict_class はシャッフル後の予測値のラベル
となってしまうため、予測値のラベルと元のデータのラベルの対応が正しく取れていませんでした。
shuffle=False にすることで解決しました。

Answer 1

この行列がおかしくなった原因は、test_generatorのshuffle=Trueの点にあります。
shuffle=Trueにすると、
① true_label はシャッフル前の真のラベル
② predict_class はシャッフル後の予測値のラベル
となってしまうため、シャッフルによってデータの順番が変わり、予測値のラベルと元のデータのラベルの対応が正しく取れていませんでした。
shuffle=False にすることで解決しました。