Weight Decayについて

Question

Weight Decayの意味は理解したのですが。
本質的な部分を理解することができませんでした。
Weight Decayの大小関係を知りたく思います。

Weight Decayの値が
0.1のほうが、抑制する力が強くて、
0.000001などにすると、0.1に比べて抑制する力が小さくなるという認識でよろしいのでしょうか？

ご回答お願いします。

Comments

[jbpb0]

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja
の「過学習防止の戦略」の「重みの正則化を加える」から引用します
「L2正則化はニューラルネットワーク用語では重み減衰（Weight Decay）と呼ばれる。」
「l2(0.001)というのは、層の重み行列の係数全てに対して0.001 * 重み係数の値 **2をネットワークの損失値合計に加えることを意味します。」

> Weight Decayの値が
0.1のほうが、抑制する力が強くて、
0.000001などにすると、0.1に比べて抑制する力が小さくなる

の「Weight Decayの値」が、上記Webページの「keras.regularizers.l2(数値)」の「数値」と同じ意味ならば、
　「Weight Decayの値」 * 重み係数の値 **2をネットワークの損失値合計に加える
のだから、「Weight Decayの値」が大きいほど重み抑制が強くなると思います
(AIは損失値をできるだけ減らそうと頑張るので)

Answer 1

単純にそういうものではなさそうです。

Weight Decayの値が良いか悪いかは、対象のDLについて実験して見るしかないのでしょう。
以下をご覧ください。

Influence of weight decay on accuracy. - ResearchGate