[kaggle x Titanic]うっすらピンクの背景でUserWarningとConvergenceWarning

Question

hayataka2049 様のおかげで5,000以上あったDataConversionWarningはすべてなくなりました! ありがとうございます(*≧∀≦)

以前の質問: [kaggle x Titanic]うっすらピンクの背景でDataConversionWarning

開発環境

• Python3.6.5
• Jupyter notebook
• Windows7

困っていること

kaggleのTitanic課題kernelを写経して提出までこぎつけました。が、警告をガン無視して進めたので今から警告に対する対処をしようとしています。
写経対象: A Data Science Framework: To Achieve 99% Accuracy

今回はUserWarningとConvergenceWarningで困っています。
該当コード

#WARNING: Running is very computational intensive and time expensive.
grid_n_estimator = [10, 50, 100, 300]
grid_ratio = [.1, .25, .5, .75, 1.0]
grid_learn = [.01, .03, .05, .1, .25]
grid_max_depth = [2, 4, 6, 8, 10, None]
grid_min_samples = [5, 10, .03, .05, .10]
grid_criterion = ['gini', 'entropy']
grid_bool = [True, False]
grid_seed = [0]

grid_param = [
                [{
                    'n_estimators': grid_n_estimator,
                    'learning_rate': grid_learn,
                    'random_state': grid_seed
                }],
    
                [{
                    'n_estimators': grid_n_estimator,
                    'max_samples': grid_ratio,
                    'random_state': grid_seed
                }],

                [{
                    'n_estimators': grid_n_estimator,
                    'criterion': grid_criterion,
                    'max_depth': grid_max_depth,
                    'random_state': grid_seed
                }],

                [{
                    'learning_rate': [.05],
                    'n_estimators': [300],
                    'max_depth': grid_max_depth,
                    'random_state': grid_seed
                }],

                [{
                    'n_estimators': grid_n_estimator,
                    'criterion': grid_criterion,
                    'max_depth': grid_max_depth,
                    'oob_score': [True],
                    'random_state': grid_seed
                }],
                
                [{
                    'max_iter_predict': grid_n_estimator,
                    'random_state': grid_seed
                }],
    
                [{
                    'fit_intercept': grid_bool,
                    'solver': ['newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga'],
                    'random_state': grid_seed
                }],
    
                [{
                    'alpha': grid_ratio,
                }],
    
                [{}],
    
                [{
                    'n_neighbors': [1,2,3,4,5,6,7],
                    'weights': ['uniform', 'distance'],
                    'algorithm': ['auto', 'ball_tree', 'kd_tree', 'brute']
                }],
    
                [{
                    'C': [1,2,3,4,5],
                    'gamma': grid_ratio,
                    'decision_function_shape': ['ovo', 'ovr'],
                    'probability': [True],
                    'random_state': grid_seed
                }],
    
                [{
                    'learning_rate': grid_learn,
                    'max_depth': [1,2,4,6,8,10],
                    'n_estimators': grid_n_estimator,
                    'seed': grid_seed
                }]
]


start_total = time.perf_counter()
for clf, param in zip (vote_est, grid_param):
    start = time.perf_counter()
    best_search = model_selection.GridSearchCV(estimator = clf[1], param_grid = param, cv = cv_split, scoring = 'roc_auc')
    best_search.fit(data1[data1_x_bin], data1[Target].values.ravel())
    run = time.perf_counter() - start
    
    best_param = best_search.best_params_
    print('The best parameter for {} is {}  with a runtime of {:.2f} seconds'.format(clf[1].__class__.__name__, best_param, run))
    clf[1].set_params(**best_param)
    
run_total = time.perf_counter() - start_total
print('Total optimization time was {:.2f} minutes.'.format(run_total/60))

print('-' *10)

警告文
同じ内容の文が重複して出てくるので一部だけですが、このような警告文が延々と出てきます。

C:\Users\ayumusato\Anaconda3\lib\site-packages\sklearn\ensemble\forest.py:453: UserWarning: Some inputs do not have OOB scores. This probably means too few trees were used to compute any reliable oob estimates.
  warn("Some inputs do not have OOB scores. "
C:\Users\ayumusato\Anaconda3\lib\site-packages\sklearn\linear_model\sag.py:326: ConvergenceWarning: The max_iter was reached which means the coef_ did not converge
  "the coef_ did not converge", ConvergenceWarning)

私調べUserWarning: Some inputs do not have OOB scores.

OOBスコアのない入力がある。
OOB(Out-Of-Bag): 選ばれなかったデータ。ランダムフォレストのエラーの評価に使われる。
→OOBスコアが必要? どうやれば警告への対処ができるのでしょうか。

私調べConvergenceWarning: The max_iter was reached which means the coef_ did not converge

max_iterに到達し、coef_が集中しなかった???
ConvergenceWarning: 収束問題を捉えるための警告。
どうやれば収束問題? が解決するのでしょうか。

よろしくお願いしますorz

Answer 1

①OOBを出すためにStratifiedKFoldについて調べてみてください。
もしやランダムフォレスト→http://scikit-learn.org/stable/auto_examples/ensemble/plot_ensemble_oob.html

②Convergeは収束です。
係数が一意的に決まらなかったということを言っています。
これは、反復を続けても、また別の数字になったりすることから、その係数に意味がない、もしくは悪さをするかもしれないことを意味しています。
その前にmax_iterを大きくすると収束するかもしれませんが…

Comments

[Yukiya025]

mkgrei様、ありがとうございます(*≧∀≦)

①
StratifiedKFoldはtrain/testセットにあるデータを分割するためのtrain/testインデックスを提供する。
クラスの割合を保ったまま分割したときは、StratifiedKFold を使う。
K-分割交差検証 (K-fold cross-validation)は、標本群をK個に分割する。そして、そのうちの1つをテスト事例とし、残る K − 1 個を訓練事例とするのが一般的である。交差検証は、K 個に分割された標本群それぞれをテスト事例として k 回検証を行う。そうやって得られた k 回の結果を平均して1つの推定を得る。

...OOBを出すにはOOBの対象をK個に分割して検証すればよいということですか?
②
> 係数が一意的に決まらなかったということを言っています。
係数(Coefficient)とは、一個以上の変数の積にかかっている定数。例えば「y = 7x + 8」で言えば7が係数となる。
max_iter (最大回数) はsklearnのモデルのパラメータ

...この場合の係数はコードのどの部分を言っていますか?

Answer 2

UserWarning: Some inputs do not have OOB scores.

ランダムフォレストでOOB誤り率を計算できないというエラー。

OOB誤り率の仕組みとかは勉強してください。

'oob_score': [False],で良いかも（他の場所でOOB誤り率を使っていなければ）。最初から計算しない、というアプローチです。

駄目だったら無視してください。実害はそんなにありません。

ConvergenceWarning: The max_iter was reached which means the coef_ did not converge

LogisticRegressionですかね。

収束しない系の問題の対処法としては、

• max_iterを上げてたくさん回す。回せば収束することを祈る
• tolを上げて多少アレでも収束しているとみなす
• 他のパラメータも制約がゆるくなりそうな方向にいじってみる
• ドキュメントを見ると「solverにsagとかsagaを使うなら変数スケーリングしないとちゃんと収束しないぞ」と書いてあるみたいなので、そのへんに気を使ってみる

参考：http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

どうしても収束しなかったら、しょうがないので無視・・・

Comments

[Yukiya025]

hayataka2049さま、おはようございます!

> 'oob_score': [False]
UserWarningがすべて消えました! ありがとうございます(*≧∀≦)
実害はなさそうなんですけどね。。。スクロールが下に下に下に (略 必要になるほど警告がずらずらと出てくるので目障りなのです(´；ω；｀)ﾌﾞﾜｯ
しかもこのセル、数あるセルの中で実行速度がトップクラスの重さなのですorz

> max_iterを上げてたくさん回す。回せば収束することを祈る
↑これを採用するとなると下のように書けばよいですか? またはmax_iter = 1000とか?
best_search.fit(data1[data1_x_bin], data1[Target].values.ravel(), max_iter=self.max_iter)
参考にしたサイト: https://teratail.com/questions/84752

> solverにsagとかsagaを使うなら変数スケーリングしないとちゃんと収束しないぞ
Note that ‘sag’ and ‘saga’ fast convergence is only guaranteed on features with approximately the same scale. You can preprocess the data with a scaler from sklearn.preprocessing.
↑この部分ですね! 「同じスケールを使って」「sklearn.preprocessingのスケーラでデータを前処理できる」か (でもどうすればよいのかわからない。max_iterやその他の候補がダメだったら使おう)。。。

[hayataka2049]

邪魔なものを消したいだけなら警告を種類ごとに非表示にしたりする方法もあるので調べてみてください。無視して良いかの判断が自力でできる人向けですが

[Yukiya025]

hayataka2049さま、ありがとうございます!

import warnings
warnings.filterwarnings('ignore')

で警告がすべて表示されなくなりました(*≧∀≦)

>無視して良いかの判断が自力でできる人向けですが
自力ではできませんが、かといって修正する力もないorzので、修正ができるほどの力がついたらこの質問見て該当のignore文を消して警告を確認してやります^^/

本当にありがとうございました(*≧∀≦)