skleanのエラーについて

Question

前提・実現したいこと

テキストに沿って勉強していますが、sklearnの箇所で以下のエラーがでます。いろいろ原因を探っていますがまだ不明です。ぜひエラーの解消方法を教えてください。

windows10
Ubuntu18.04
Python3.7

発生している問題・エラーメッセージ

/home/User/.pyenv/versions/3.7.0/lib/python3.7/site-packages/sklearn/metrics/classification.py:1143: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples.
  'precision', 'predicted', average, warn_for)
正解率= *********（この数字は出ます）
レポート=

該当のソースコード

from sklearn import svm, metrics

def load_csv(fname):
    labels = []
    images = []
    with open(fname, "r") as f:
        for line in f:
            cols = line.split(",")
            if len(cols) < 2: contiune
            labels.append(int(cols.pop(0)))
            vals = list(map(lambda n: int(n) / 256, cols))
            images.append(vals)
    return {"labels":labels, "images":images}


data = load_csv("./train.csv")
test = load_csv("./t10k.csv")


clf = svm.SVC(gamma='auto')
clf.fit(data["images"], data["labels"])

predict = clf.predict(test["images"])

ac_score = metrics.accuracy_score(test["labels"], predict)
cl_report = metrics.classification_report(test["labels"], predict)
print("正解率=", ac_score)
print("レポート=")

Answer 1

scikit-learnほとんどつかったことありませんので的外れな回答でしたらすみません。

scikit-learn で F1値 計算のエラーを回避する / How to resolve UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samplesによると２つの可能性があげられています。

1. TruePositiveの件数が０であったため、分母が０になりF値 (F-measure)が計算できなかった（データの問題）
2. scikit-learn 自体にバグがあった（バージョンアップで解消）

Comments

[wakky]

ご回答ありがとうありがとうございます。バージョンは最新にアップグレード済みです。

$ pip3 install scikit-learn --upgrade
Requirement already up-to-date: scikit-learn in ./.pyenv/versions/3.7.0/lib/python3.7/site-packages (0.20.2)
Requirement already satisfied, skipping upgrade: scipy>=0.13.3 in ./.pyenv/versions/3.7.0/lib/python3.7/site-packages (from scikit-learn) (1.2.0)
Requirement already satisfied, skipping upgrade: numpy>=1.8.2 in ./.pyenv/versions/3.7.0/lib/python3.7/site-packages (from scikit-learn) (1.16.0)

Answer 2

それはUndefinedMetricWarningで、Warningというのは警告を表し、厳密に言えばエラーではありません。警告にもいろいろな種類がありますが、今回は「うまく予測できてないからF値は定義できないよ。たぶんちゃんとした結果にはなってないんじゃないかなぁ」ということを親切に教えてくれている訳ですね。

とりあえずcl_reportをprintしていないようですが、これを表示しないといけないんじゃないでしょうか。それでどんな結果になったのか確認してみれば良いです。

cl_report = metrics.classification_report(test["labels"], predict)
print("正解率=", ac_score)
print("レポート=")
print(cl_report)

Comments

[wakky]

ありがとうございます！解決しました。勉強に精進します。