kerasのmodel.evaluateで得られたaccuracyが1枚ずつ行うmodel.predictの集計と合わない。

Question

###前提・実現したいこと
初心者です
テストでの不正解画像のインデックスを取り出したいのですが、model.evaluateで得られたaccuracyが1枚ずつ行うmodel.predictの集計と合いません。

###発生している問題・エラーメッセージ
http://www.socym.jp/download/1079/src.zipのsrc/ch7/gyudon-makedata.pyとgyudon_keras.pyのパラメータだけを変更し、5クラスの画像を分類するネットワークを作り、420枚の画像で学習させました。(loss: 0.3747 - acc: 0.8310 )180枚の画像をテストしたところmodel.evaluate(X_test, y_test)テストしたところaccuracy 0.7888...となりました。
テストでの不正解画像のインデックスを取り出そうと下記のように書いてみましたが、180画像中124画像が間違っているとして取り出されます。単純に割ると正答率0.311となってしまいます。どこかおかしいのでしょうけどわかりません。
X_test.shape = (180,64,64,3), y_test.shape = (180, 5)カテゴリーex:[0,1,0,0,0]
指摘していただければ幸いです。

###該当のソースコード
Python Keras tensorflow background

modelは省略します。

score = model.evaluate(X_test, y_test)
print('loss=', score[0])
print('accuracy=', score[1])

prex=model.predict(X_test)
wrong=[]
for i in range(180):

yi=y_test[i:i+1]
prei=prex[i:i+1]

if prei.argmax()!=yi.argmax():
   wrong.append(i)

print (wrong)
print ('wrong',len(wrong))

結果
runfile(’不正解.py', )
180/180 [==============================] - 1s
loss= 0.526335520877
accuracy= 0.788888932599
[0, 1, 2, 3, 4, 5, 7, 9, 11, 12, 13, 15, 16, 17, 18, 19, 20, 22, 23, 25, 26, 27, 28, 29, 30, 32, 33, 34, 35, 36, 37, 39, 40, 42, 45, 46, 47, 48, 49, 50, 52, 54, 56, 57, 59, 62, 63, 64, 65, 68, 69, 72, 73, 74, 76, 78, 79, 80, 81, 82, 83, 84, 85, 86, 88, 89, 90, 91, 92, 93, 96, 97, 99, 100, 101, 104, 105, 106, 107, 108, 110, 111, 113, 114, 115, 116, 117, 118, 120, 123, 124, 125, 126, 128, 129, 130, 131, 132, 133, 136, 139, 140, 143, 144, 145, 146, 148, 150, 151, 152, 153, 154, 156, 160, 162, 163, 164, 165, 167, 168, 171, 174, 175, 179]
wrong 124

###試したこと
model.predict_classes(X_test)も使ってみましたが同じ結果でした。

###補足情報(言語/FW/ツール等のバージョンなど)
Spyder(Python3.5)

Answer 1

https://stackoverflow.com/questions/45799474/keras-model-evaluate-vs-model-predict-accuracy-difference-in-multi-class-nlp-ta, https://stackoverflow.com/questions/41327601/why-is-binary-crossentropy-more-accurate-than-categorical-crossentropy-for-multi

modelを省略してしまっていましたが、問題は
model.compile(loss='binary_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])
にありました。
'binary_crossentropy'を'categorical_crossentropy'にする
あるいは
from keras.metrics import categorical_accuracy

 metrics=[categorical_accuracy]

とする必要がありました。

accuracyはかなり下がりました。1まいづつとりだしてtestした結果が正しかったようです。
multi-class problem, multi-label problemでちがうのですね。

Answer 2

ありがとうございます！
同じ問題で悩んでいたのでとても参考になりました！

学習の検証に使っている評価の仕方と、自分で作った確認のロジックが違ったということですね。

from keras.metrics import categorical_accuracy　こちらを使う必要があるということですね。

def categorical_accuracy(y_true, y_pred):
return K.cast(K.equal(K.argmax(y_true, axis=-1),
K.argmax(y_pred, axis=-1)),
K.floatx())

metrics=['accuracy']　こちらのaccuracyのソースコードが見つけられなかったのでこちらはどうなっているのか分かりませんでした。

その他の関数についてはこちらのを確認すると中でどういう操作をしているのかが分かります。

https://github.com/keras-team/keras/blob/0bc8fac4463c68faa3b3c415c26eab02aa361fd5/keras/metrics.py#L24