python3 sklearnでk近傍法を用いた際の予測結果確認方法(機械学習に詳しい方お願いします)

Question

###前提・実現したいこと
python3.6でk近傍法を用いた予測モデルを作っています。
自分で作ったcsvファイルのresultの列が0と1のデータで、
これを予測させるようにプログラミングしたのですが、
k近傍法を用いた際に、scoreだけじゃなくて、
1と予測したデータが0だった割合や、0と予測したデータが1だった割合なども知りたいです。
ご教授宜しくおねがいします。
csvファイルは
https://dotup.org/uploda/dotup.org1766434.csv.html
にアップロードしました。

###該当のソースコード

#!/usr/bin/python3
# -*- coding: utf-8 -*-
from pprint import pprint  #きれいに表示してくれる
import csv  #csvファイルのライブラリ
import numpy as np
import pandas as pd
import sklearn.model_selection as MS
from sklearn import preprocessing
from sklearn.model_selection import LeaveOneOut
from sklearn.metrics import accuracy_score
from sklearn.neighbors import KNeighborsClassifier as KNC
while 1:
    df = pd.read_csv('kaisekidata.csv', engine='python')
    print(df.head())
    train_y, test_y, train_x, test_x = MS.train_test_split(df['result'], df.drop('result', axis=1), test_size=0.2, train_size=0.8)
    clf = KNC(n_neighbors=3) 
    clf.fit(train_x, train_y) # 分類器の学習
    print(clf.score(test_x, test_y))
    print('全データの数: %d' % len(df))
    print('訓練データの数: %d' % len(train_y))
    print('テストデータの数: %d' % len(test_y))
    print('特徴量(説明変数)の数: %d' % (df.shape[1]-1))
    break

###補足情報(言語/FW/ツール等のバージョンなど)
cloud9のpython3.6を使って作っています。

Answer 1

1と予測したデータが0だった割合や、0と予測したデータが1だった割合なども知りたいです

混合行列を作成すればよいと思います。
混合行列についてご存知ない場合は こちら に見方が書いてあります。
sklearn では、 from sklearn.metrics import confusion_matrix で計算できます。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
from sklearn.metrics import confusion_matrix
from sklearn.neighbors import KNeighborsClassifier

sns.set()

df = pd.read_csv('data.csv')

# 学習データ、テストデータに分割する。
train_x, test_x, train_y, test_y = MS.train_test_split(
    df.drop('result', axis=1), df['result'], test_size=0.2)

clf = KNeighborsClassifier(n_neighbors=3)
clf.fit(train_x, train_y)

# テストデータを推論する。
pred_y = clf.predict(test_x)

# 混合行列を作成する。
cm = confusion_matrix(test_y, pred_y)


# 混合行列を描画する。
def print_confusion_matrix(confusion_matrix, class_names):
    heatmap = sns.heatmap(
        confusion_matrix, xticklabels=class_names, yticklabels=class_names,
        annot=True, fmt='d', cbar=False, square=True)
    plt.ylabel('True label')
    plt.xlabel('Predicted label')
    plt.show()


labels = ['class {}'.format(i) for i in df['result'].unique()]
print_confusion_matrix(cm, labels)

数でなく、割合で混合行列を表示したい場合

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
from sklearn.metrics import confusion_matrix
from sklearn.neighbors import KNeighborsClassifier

sns.set()

df = pd.read_csv('data.csv')

# 学習データ、テストデータに分割する。
train_x, test_x, train_y, test_y = MS.train_test_split(
    df.drop('result', axis=1), df['result'], test_size=0.2)

clf = KNeighborsClassifier(n_neighbors=3)
clf.fit(train_x, train_y)

# テストデータを推論する。
pred_y = clf.predict(test_x)

# 混合行列を作成する。
cm = confusion_matrix(test_y, pred_y)
cm = cm / cm.sum()

# 混合行列を描画する。
def print_confusion_matrix(confusion_matrix, class_names):
    heatmap = sns.heatmap(
        confusion_matrix, xticklabels=class_names, yticklabels=class_names,
        annot=True, fmt='.2%', cbar=False, square=True, cmap='YlGnBu')
    plt.ylabel('True label')
    plt.xlabel('Predicted label')
    plt.show()


labels = ['class {}'.format(i) for i in df['result'].unique()]
print_confusion_matrix(cm, labels)

Comments

[takizawasizuku]

ありがとうございます！
今質問しながら自分で調べていたのですが、classification_reportを使えば予測できることがわかりました！
ありがとうございます！