深層学習におけるL2正則化の係数について

Question

optimizerに与えるlossにL2正則を加える場合、加える前のlossに対してL2正則に課す係数の比に妥当な値は有るのでしょうか？

Comments

[tiitoi]

L2正則は重みに対する罰則なので、正則化項を除いた loss 関数の値は関係ないと思いますが。

[Amanokawa]

昨今制約を増やす傾向が見られます。
GANのdiscriminaterを基本とした損失関数や、教師データと入力データの特徴マップとの差を損失関数とするモデルが見受けられます。
従来の損失関数に対し、どの程度重みを課して実装さているのか理由があるだろうと思います。

それらと同じようにL2正則は基本的な（クロスエントロピー等の）損失関数にどの程度のオーダーで加算されるべきなのか一般的な値が存在するのならば教授願います。

Answer 1

難しい質問ですね。
通常？　0.01から1まで感じ。。。
申し訳ないですけど、記憶のみ。。。

基本は実験効果によって決めると思います。
バッチ正規化を利用すれば、L2正則化が要らなくなる説もありますが。

Comments

[Amanokawa]

回答ありがとうございます。
自分はリッジ正則を入れる前のlossと同じオーダーになるようL2の係数を決めたのですが、思ったほど精度が出なかった為、L2正則のベターな係数が有るのではないかと思い質問させていただきました。

最近ではバッチ正則が当たり前の技術となっていますが、L2正則とはそれよりも古い手法であって今は使われていないのでしょうか？

[OOZAWA]

今使うかどうかはケースバイケースで何も言えませんが、
概してL2正則化手法は歴史が長く、使われる場面が多いと思います。
それはNNの世界のみならず、他の最適化分野も利用されます。