ランダムフォレスタのパラメータの設定（グリッドサーチ）はどうすれば？

Question

ランダムフォレスタでグリッドサーチを実行するために、パラメータを設定しました。
それぞれ、どの程度の設定値を設定してよいのかわからず、ネット情報などから、適当に設定しています。
一応、正常にサーチはされて結果も得られるのですが、このような設定値でよいのか疑問です。
特に、random_state' : [2525]
については、なぜこのように数値なのかよくわかりません。
「0」でなければ、どんな値でもよいのでしょうか？

この辺、お詳しい方、コメント頂戴できればありがたいです。
よろしくお願いいたします。

search_params = {
     'n_estimators'      : [5, 10, 50, 100, 300],
      'max_features'      : [5, 10, 20],
      'random_state'      : [2525],
      'n_jobs'            : [1],
      'min_samples_split' : [5, 10, 50, 100],
      'max_depth'         : [1,3,5, 10, 50, 100]
}

clf = GridSearchCV(RandomForestClassifier(),           # 対象の機械学習モデル
                  search_params,   # 探索パラメタ辞書
                  cv=3,            # クロスバリデーションの分割数
                  verbose=0,    # ログ表示
                  n_jobs=-1)       # 並列処理

Answer 1

random_stateは乱数のシード値です。本来チューニングを行うべきハイパーパラメータではありませんが、結果の再現性を得るために固定しているのでしょう。

Comments

[python_2019]

ご連絡ありがとうございます。

都度、変化させないよう再現性のために固定しているのですね。
理解できました。

追加でもう１点お教えください。
search_paramsで、
　'n_jobs' : [1],
となっておりますが、
最下段では、
　n_jobs=-1) # 並列処理
となっています。
これは、互いに異なる値（1と-1）ですが、問題はないのでしょうか？

どうぞよろしくお願いいたします。

[hayataka2049]

RandomForestClassifierのn_jobsを1に固定して（こちらでは並列処理させないで）GridSearchCVの側で並列に走らせるためなので、これでいいんですね。

[python_2019]

ご連絡ありがとうございます。

お教え頂いた「RandomForestClassifierのn_jobsを1に固定して（こちらでは並列処理させないで）」
ですが、なぜ、ここで並列処理をさせないのでしょうか？
最終的にGridSearchCVで並列処理されれば、よいように思ってしまいます。

並列処理させないコードと、並列処理させるコードの２つがあるのはなぜでしょうか？
RandomForestClassifierのn_jobs=1　を設定しないとどうなるのでしょうか？

私の勉強不足で何度もお聞きして申し訳ございません。
ご示唆頂ければありがたいです。

[hayataka2049]

まず
＞RandomForestClassifierのn_jobs=1　を設定しないとどうなるのでしょうか？
だけお答えすると、明示的に設定しなかった場合はデフォルト値のNoneが使われ、1と指定したのと同じことになります。
https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html

[hayataka2049]

並列処理はまず使えるリソースをぜんぶ使うことが大切で、そのためにはこのケースだとどちらかで-1（全コア使う）を指定すれば良いです。
どちらを-1にするか、あるいは両方-1にするかはノウハウの世界です。こういう設定にした理由は思いつかない訳ではありませんが、確証はないので書きません。ご自身で検証されるといいでしょう。

[python_2019]

ノウハウの世界ということなので、自分でいろいろ試してみて確証を得るしかなさそうですね。
時間がかかりそうですが、少しづつ試して行きたいと思います。

ありがとうございました。

[hayataka2049]

両方で-1を指定するとコア数の二乗のスレッドないしプロセスで並列処理されますが、これはオーバーヘッドが出てきたり不都合があるので普通は避けたいはず。
どっちで並列にするかは微妙な問題です。私ならRandomForestClassifierの側で並列にしてGridSearchCVをシングルスレッドにするのもおかしくないと思いますが、速度を実測してみないとどちらが勝っているかはわかりません。

[python_2019]

少なくとも、両方で-1を指定することだけは避けた方がよさそうですね。時間もかかりそうです。
それではどっちが良いのか？サンプルの性質との兼ね合いもありそうなので、いろいろ実験してみたいと思います。
貴重なご意見、ありがとうございました。