DNNにおいての正規化問題

Question

こんにちは

deep learningに関する質問ですけれども、
DNNのトレーニングには正規化処理が必要と分かりました。
即ちloss関数の中にDNNのweightに関する関数を罰項として足します。
そしてL1正規とL2正規ありますが、
Q1: どんな場合L1正規を使い、どんな場合L2正規を使うのでしょうか。
Q2: 既存のLIB(ワークフレーム)は上記L1正規とL2正規に対応済みでしょうか。
それとも自分がある程度実装しなければならないのでしょうか。

それからもう一つの『正規化』種類あります：
画像処理分野では時々入力画像(の画素値)の正規化を行います。
new画素値 = (原始画素値-平均画素値)/画素値の標準平方差
こうすると、 負になるnew画素値が沢山出ます。
Q3:　DNNにおいてこのような正規化も必要でしょうか。

どうぞ宜しくお願いいたします。

Answer 1

正規化と正則化は名前だけは似ているけど、中身は違うので注意してください。

正規化：スケーリングやセンタリング
正則化：過学習を抑制したりいろいろ

L1はモデルをスパースにするとき、L2は滑らかにするみたいなイメージです。DNNじゃなくて、lasso回帰とridge回帰を普通にやった方が理解が捗るかもしれません。

既存のLIBでも何かあるみたいなので、簡単に書けると思います。
参考：
tf.nn.l2_loss  |  TensorFlow

正規化については、別に負でもニューラルネットとしては特に原理的な不都合はありません。実装に依存する話なので100%大丈夫とは言いづらいですが・・・。

Comments

[leilei]

非常に勉強になりました！
心より感謝します。