Q&A
タイトルに有る通り、C=1e20の正則化強度の逆数パラメータのチューニング方法ですが、デフォルトでは１でありますが、1e20としているコードを多々みかけます。
普段利用して慣れている方は、このパラメータの決め方や妥当性の確認は、scikit-learnを利用した場合、どうされていますでしょうか？
python
1from sklearn.linear_model import LogisticRegression 2 3model = LogisticRegression(C=1e20)
回答1件
0
ベストアンサー
C:float, default=1.0
Inverse of regularization strength; must be a positive float. Like in support vector machines, smaller values specify stronger regularization.
sklearn.linear_model.LogisticRegression — scikit-learn 0.24.1 documentation
からして……
-
1e20など極端に大きい値を設定した場合、事実上正則化が働きません。 -
ちなみに、デフォルトの正則化はL2正則化です。
「多々みかけます」ってあんまり見ない気もするのですが、
思いっきし過学習させたセッティングの方が性能が出るんじゃね
or
実験としてそういうシチュエーションで動かします
ということかと思われます。でも、あまり常識的ではない気がします。
通常のチューニングであれば、常識的な値の範囲（せいぜい-1e2から1e2くらい？）で他のパラメータと合わせてグリッドサーチをやることになるかと思います。左記の例なら、1桁ずつ試して5通りとか。
とはいっても、ロジスティック回帰のL2正則化なら、どんな値にしてもそこまでの大差はない気がします。デフォルトの1のままでも大抵の場合はいけるくらいです。
ロジスティック回帰は完全に線形分離可能なデータだと過学習します。特徴量が割と高次元だったりすると何かしらの線形分離は可能だったりし、それはあんまりよくない事態を招いたりはしそうなので、そこそこの正則化をかけておくのはセオリーです。でも、あんまりよくない事態を招かない値であれば、正直大差はありません。また、そもそも完全に線形分離できないデータであれば、やっぱり大差はないかと思われます。
（ただし正則化かけすぎてフィッティングできない、は論外）
L1とかelasticnetで正則化するときは事情が異なります。L1の場合は正則化パラメータ次第で落ちる特徴量の数が決まるので、L2のときより真面目に正則化のチューニングをした方が良いです。というか、そうしないと使い物になりません。elasticnetの場合も、L1とL2を両方かけるという趣旨ですから、Cとl1_ratioでグリッドサーチしないと適切なパラメータを選べないと思います。
投稿2021/03/31 20:07
総合スコア30935
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。