python：kerasの学習結果の評価をしたい。

Question

◆　今、以下のようにkerasで学習した結果を、accuracyで評価しています。

#　keras

#　学習の実行
model.fit(x_train,y_train,epochs=10,batch_size=4, verbose=0)

#　評価の実行
score = model.evaluate(x_test,y_test)
print('accuracy:', score[1])

60/60 [==============================] - 0s 0us/step
accuracy: 0.7499999920527141

◆　これを、以下、サポートベクターマシンの評価指標のように、もう少し詳しく評価するにはどうすればよいでしょうか？

ご指導頂ければ助かります。　
よろしくお願いいたします。

#　サポートベクターマシン

# テストデータで試した正解率を返す　　
accuracy = clf.score(x_test, y_test)
print(f"正解率⇒　{accuracy}")

# 学習済モデルを使ってテストデータを分類した結果を返す
predicted = clf.predict(x_test)

# 詳しいレポート
# precision(適合率): 選択した正解/選択した集合
# recall(再現率) : 選択した正解/全体の正解
# F-score(F値) : 適合率と再現率はトレードオフの関係にあるため
print("classification report")
print(metrics.classification_report(y_test, predicted))

正解率⇒　0.8
classification report
              precision    recall  f1-score   support

           0       0.00      0.00      0.00        12
           1       0.80      1.00      0.89        48

    accuracy                           0.80        60
   macro avg       0.40      0.50      0.44        60
weighted avg       0.64      0.80      0.71        60

Answer 1

いったん、予測を行ってからclassificatin_reportを使うといいかと思います。

perd=model.predict(x_test)

print(metrics.classificatin_report(y_test,pred))

という感じでしょうか

Comments

[python_2019]

ご指導ありがとうございます。
ご指摘の通り、修正しましたら、以下のエラーが出ました。

どこか間違っているのでしょうか？
お教え頂ければ助かります。

NameError Traceback (most recent call last)
<ipython-input-9-4d2eb4e0706b> in <module>
5
6 perd=model.predict(x_test)
----> 7 print(metrics.classificatin_report(y_test,pred))

NameError: name 'metrics' is not defined

[R.Shigemori]

metricsをimportしないと使えません。svmのときと同じように書けばいいと思います。

[python_2019]

ご指導ありがとうございます。
SVMの時と同様、以下のように、metricsをimportした（つもり）なのですが、やはり、なぜかエラーが出てしまいます。

何度もお聞きして申し訳ございません。
引き続きご指導頂ければ、大変助かります。

#　学習の実行
model.fit(x_train,y_train,epochs=10,batch_size=4, verbose=0)

#　評価の実行

from sklearn import metrics
from sklearn.metrics import classification_report

perd=model.predict(x_test)
print(metrics.classificatin_report(y_test,pred))

---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-41-07e67a8721a4> in <module>
8
9 perd=model.predict(x_test)
---> 10 print(metrics.classificatin_report(y_test,pred))

AttributeError: module 'sklearn.metrics' has no attribute 'classificatin_report'

[R.Shigemori]

metrics.の部分を削除したらどうなりますか？
classification_reportのimportはうまくいっているのであれば、結果がでるはずです

[python_2019]

ご指導ありがとうございます。
ご指摘の通り、修正したのですが、やはりエラーが出てしまいます...
なかなかむつかしいです。。
何度も、申し訳ございません。

from sklearn import metrics

from sklearn.metrics import classification_report

​

perd=model.predict(x_test)

print(classificatin_report(y_test,pred))

---------------------------------------------------------------------------
NameError Traceback (most recent call last)
<ipython-input-12-f7641b779595> in <module>
3
4 perd=model.predict(x_test)
----> 5 print(classificatin_report(y_test,pred))

NameError: name 'classificatin_report' is not defined

[R.Shigemori]

関数の名前がおかしくです

[python_2019]

ご回答、どうもありがとうございます。
この件について、現在の私の知識では、どうも解決しなさそうな感じですので、一度、基本に戻って勉強しなおして、ちゃんと理解できてから、再度チャレンジしたいと思います。
いろいろ、ありがとうございました。

Answer 2

評価関数を利用すれば如何でしょう？
評価関数の利用方法

Comments

[python_2019]

ご指導ありがとうございます。
リンク先の評価関数の利用方法を見たのですが、わたくしのレベルではよく理解できませんでした。

以下のように、コードを書いて実行してみたのですが、エラーとなってしまいます。
エラーメッセージ最後の、
「AttributeError: module 'keras.metrics' has no attribute 'classificatin_report'」がポイントかと思いますが、どのように対処すればよろしいでしょうか？

お教え頂ければ大変助かります。
よろしくおねがいいたします。

#　学習の実行
model.fit(x_train,y_train,epochs=10,batch_size=4, verbose=0)

#　評価の実行

score = model.evaluate(x_test,y_test)
print('accuracy:', score[1])

perd=model.predict(x_test)
print(metrics.classificatin_report(y_test,pred))

60/60 [==============================] - 0s 0us/step
accuracy: 0.800000007947286

---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-21-3203c3b147c3> in <module>
8
9 perd=model.predict(x_test)
---> 10 print(metrics.classificatin_report(y_test,pred))

AttributeError: module 'keras.metrics' has no attribute 'classificatin_report'