Python Scikit-learn RandomForestでラベル別の精度を出力したい

Question

PythonのRandomForestで複数ラベルの分類を行なっています。
分類器の精度はF値を用いて測っているのですが、ラベルごとの分類精度を出す手法があれば教えていただきたいです。
末尾は分類及び精度出しに用いているコードです。

現状考えている方法としては、予測値(pred)を出した後、
①　test_Yとpredを合体
②　test_Yのラベル別のデータを新規のdataframeに格納
③　ラベル別に分けたdataframeのtest_Yにあたる列とpredにあたる列でf1_scoreを実行
④　ラベル別の精度が得られる
というものです。
ですが、交差検証を行っている為データ数が膨大で、以上の内容を簡易に出来るモジュールなどがありましたら教えていただきたいです。
よろしくお願いいたします。

from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier(random_state=0)
clf = clf.fit(train_X, train_y)
pred = clf.predict(test_X)

from sklearn.metrics import f1_score
f1_score (pred,test_y,average='macro')

Answer 1

classification_reportを用いてはいかがでしょうか。

sklearn.metrics.classification_report — scikit-learn 0.21.3 documentation

シンプルな使用例。

ort pandas as pd
from sklearn.datasets import load_iris
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

iris = load_iris()
clf = SVC(gamma="scale")

X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.4, stratify=iris.target, random_state=0)

clf.fit(X_train, y_train)
pred = clf.predict(X_test)

print(classification_report(y_test, pred, target_names=iris.target_names))
""" =>
              precision    recall  f1-score   support

      setosa       1.00      1.00      1.00        20
  versicolor       1.00      0.95      0.97        20
   virginica       0.95      1.00      0.98        20

    accuracy                           0.98        60
   macro avg       0.98      0.98      0.98        60
weighted avg       0.98      0.98      0.98        60

"""

report_dict = classification_report(y_test, pred, target_names=iris.target_names, output_dict=True)
print(report_dict)
""" =>
{'virginica': {'precision': 0.9523809523809523, 'recall': 1.0, 'support': 20, 'f1-score': 0.975609756097561}, 'macro avg': {'precision': 0.9841269841269842, 'recall': 0.9833333333333334, 'support': 60, 'f1-score': 0.9833229101521784}, 'versicolor': {'precision': 1.0, 'recall': 0.95, 'support': 20, 'f1-score': 0.9743589743589743}, 'setosa': {'precision': 1.0, 'recall': 1.0, 'support': 20, 'f1-score': 1.0}, 'accuracy': 0.9833333333333333, 'weighted avg': {'precision': 0.9841269841269842, 'recall': 0.9833333333333333, 'support': 60, 'f1-score': 0.9833229101521785}}
"""

report_df = pd.DataFrame(report_dict)
print(report_df)
""" =>
           accuracy  macro avg  setosa  versicolor  virginica  weighted avg
f1-score   0.983333   0.983323     1.0    0.974359   0.975610      0.983323
precision  0.983333   0.984127     1.0    1.000000   0.952381      0.984127
recall     0.983333   0.983333     1.0    0.950000   1.000000      0.983333
support    0.983333  60.000000    20.0   20.000000  20.000000     60.000000
"""

Comments

[MM2]

使用例も含め丁寧にご指導くださりありがとうございます！
使ってみます！