Googlecolabと手元の環境で機械学習の計算結果が変わってしまうのを一致させたい

Question

前提

機械学習で分類問題を計算しています。
Googlecolabでいい結果が得られたので、手元環境で再現しようとしたところ、
計算結果が変わってしまいました。
Googlecolabのソースコードをコピペしただけです。

同じデータを回帰で計算（lgb.LGBMRegressor(n_jobs=-1, random_state=1)）してみたら
計算結果が一致しましたので、スペルミス等はないと思います。

・手元環境
python 3.9
lightgbm 3.3.3
scikit-learn 1.1.2
・model = lgb.LGBMClassifier()、LogisticRegression()

・説明変数や目的変数の値は全く同じ。

その他必要な情報があればおっしゃってください。

よろしくお願いいたします。

実現したいこと

計算結果を一致させる方法はありますでしょうか。

試したこと

・パラメータはデフォルトで、Googlecolabで出力したパラメータを手元環境でもセットしてみましたが上手くいきませんでした。（下記はLGBMのパラメータ）
{'boosting_type': 'gbdt',
'class_weight': None,
'colsample_bytree': 1.0,
'importance_type': 'split',
'learning_rate': 0.1,
'max_depth': -1,
'min_child_samples': 20,
'min_child_weight': 0.001,
'min_split_gain': 0.0,
'n_estimators': 100,
'n_jobs': -1,
'num_leaves': 31,
'objective': None,
'random_state': None,
'reg_alpha': 0.0,
'reg_lambda': 0.0,
'silent': True,
'subsample': 1.0,
'subsample_for_bin': 200000,
'subsample_freq': 0}

・Googlecolabでpip install lightgbm をし、lightgbmのバージョンを合わせてみましたが上手くいきませんでした。

Comments

[melian]

'random_state': None という設定ですが、API ドキュメントには以下の様に記載されています。

lightgbm.LGBMClassifier — LightGBM 3.3.2.99 documentation
https://lightgbm.readthedocs.io/en/latest/pythonapi/lightgbm.LGBMClassifier.html

> random_state ... If None, default seeds in C++ code are used.

random seed の値が Googlecolab とそちらの環境で異なっているのかもしれません。

[last5]

ご確認ありがとうございます。
model = lgb.LGBMClassifier(random_state=1)
として計算してみましたが、結果は変わりませんでした。

[jbpb0]

それぞれの環境での結果は、実行する度に微妙に変わったりせず、ずっと同じなのでしょうか？

[last5]

コメントありがとうございます。
結果はそれぞれ何回やってもずっと同じです。

[jbpb0]

他人が現象を再現できるコードはありませんでしょうか？

たとえば、どこかのWebページのコードをそのまま実行したら、google colabと(質問者さんの)ローカル環境で結果が変わる、的な

[melian]

後は、lightgbm と scikit-learn と依存するパッケージのバージョンを完全に一致させる、でしょうかね。。。

[last5]

こちらのサイトで試してみました。
https://hackerdemy.com/2020/09/15/lightgbm-classification/

サイト上では0.9722222222222222
google colabでも0.9722222222222222
手元環境だと、1.0となりました

有効桁数の設定が違うということでしょうか。

[last5]

y_predの結果も異なってました。

Answer 1

Parameters
の「Core Parameters」の「deterministic」に、
「when you use the different seeds, different LightGBM versions, the binaries compiled by different compilers, or in different systems, the results are expected to be different」
と書いてあります

「the binaries compiled by different compilers」とか「in different systems」とかもとなると、結果違っても仕方ないですよね

Comments

[last5]

ご回答ありがとうございます。
結果が変わるのは仕方ないのですね。
Googlecolabでfitしたmodelを保存して、手元環境で読み込むことでとりあえず解決しました。