pythonの機械学習で発生したエラー

Question

現在Google Colaboratoryを用いてpythonで機械学習を行っています.
しかし謎のエラーに阻まれてしまいました.
原因は不明です.　本来なら95.3333333333といった数値が出るはずなのに,エラーのせいか異なる値が表示されてしまいます.
どなたか解決法をお教えください...

from sklearn.model_selection import LeaveOneOut
loo=LeaveOneOut()

score = cross_val_score(logreg, iris.data, iris.target, cv = loo) #分類器としてLeaveOneOut()を指定
score.mean() #=> 0.95333333333333337

下のようなエラーが無数に表示されます...

/usr/local/lib/python3.6/dist-packages/sklearn/linear_model/_logistic.py:940: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  extra_warning_msg=_LOGISTIC_SOLVER_CONVERGENCE_MSG)
/usr/local/lib/python3.6/dist-packages/sklearn/linear_model/_logistic.py:940: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  extra_warning_msg=_LOGISTIC_SOLVER_CONVERGENCE_MSG)
/usr/local/lib/python3.6/dist-packages/sklearn/linear_model/_logistic.py:940: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Comments

[meg_]

上記はエラーではなくWarningに見えます。他にエラーが出ているのでしょうか？

[00_x9925]

申し訳ありません
エラーではありませんでした.

Answer 1

ConvergenceWarning: lbfgs failed to converge (status=1): STOP: TOTAL NO. of ITERATIONS REACHED LIMIT

訳

収束に関する警告: L-BFGS アルゴリズムは、収束しませんでした。最大反復回数に到達しました。

1つ前の質問を拝見しましたが、LogisticRegression() の最大反復回数に到達するまでに収束しなかったという警告です。警告なので、最大反復回数に到達して終了した時点でなんらかの結果は出ているので、エラーではありません。

最大反復回数は max_iter で設定でき、デフォルトは100回です。この値を警告が出なくなるまで、増やしてみてはどうでしょうか。

- LogisticRegression()
+ LogisticRegression(max_iter=200)

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import LeaveOneOut, cross_val_score, train_test_split

df = pd.read_csv("iris.txt", delim_whitespace=True, header=None)
X = df.iloc[:, 0:4]
y = df.iloc[:, 4]

# 訓練セットとテストセットに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
# モデルのインスタンスを生成し、訓練データで学習
logreg = LogisticRegression(max_iter=200)
# テストセットでモデルを評価

loo = LeaveOneOut()
score = cross_val_score(logreg, X, y, cv=loo)
score.mean()

本来なら95.3333333333といった数値が出るはずなのに

書籍かなにかの結果を参照しているのであれば、そのコードが書かれた当時と現在では、ライブラリ内部の実装や API が変更されていれば、厳密に同じ値が出るとは限りません。なので、おおよそ近い値が出ればOKとしましょう。