ハイパーパラメータのサーチ結果が毎回変わる ramdomseedが効いていない

Question

ランダムフォレストで回帰学習をかける際、optunaでハイパーパラメータを最適化しようと以下のように実行していますが、実行するたびに毎回違う値が出てしまいます。
randomstate、randomseedも固定しているのになぜだかわかりません。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')
from sklearn.ensemble import RandomForestRegressor as RFR
 
-----データ読み込み
df = pd.read_csv('20200519Dataset.csv')

x = df.iloc[:, :17]  # 説明変数
y= df.iloc[:, 18]  # 目的変数

-----全データでモデル構築（ランダムフォレスト回帰）

-----データのオートスケーリング
autoscaled_x_all = (x - x.mean()) / x.std() 
autoscaled_y_all = (y - y.mean()) / y.std() 

-----optunaによるハイパーパラメータ最適化 

import optuna

def objective(trial):
-----hyper param   
    max_depth = trial.suggest_int('max_depth', 3, 10) 
    n_estimators = trial.suggest_int('n_estimators', 20, 100) 
    random_state=[0]

    modelbest = RFR(max_depth=max_depth,n_estimators=n_estimators,max_features='sqrt',n_jobs=-1,verbose=True)


    modelbest.fit(autoscaled_x_all, autoscaled_y_all)


    score = -1 * modelbest.score(autoscaled_x_all, autoscaled_y_all) 

   
study = optuna.create_study(sampler=optuna.samplers.RandomSampler(seed=0))

study.optimize(func=objective, # 実行する関数
               n_trials=30, # 試行回数
               timeout=None, # 与えられた秒数後に学習を中止。
               n_jobs=-1 # 並列実行するjob数 
              )

#最適化したハイパーパラメータの確認 実行する旅毎回違う結果が出る
print('best_param:{}'.format(study.best_params))

Answer 1

random_state=[0]

これは変数にリストの0を代入してるだけで乱数シードを与えてないですね
RFRも乱数を使うはずなので、

・RFRには乱数シードを指定せず
・Optunaには乱数シードを指定

だからですね。
RFRに乱数シードを与えないといけないと思います。

Comments

[yyy-]

modelbest = RFR(max_depth=max_depth,n_estimators=n_estimators,max_features='sqrt',n_jobs=-1,verbose=True,random_state=0)
で解決しました！
ありがとうございました！

[aokikenichi]

OK!