深層学習の特にCNNにおいて、バッチノーマライゼーションは勾配消失などの問題が起こりにくくなり、学習を適切に進めることができるとても有効な方法です。
その基本的なしくみは、次のURLに記載のとおりです。
https://qiita.com/omiita/items/01855ff13cc6d3720ea4
しかし、上記のURLのちょうど真ん中の式の説明のところで、最後に平均0分散1のデータに対して新しい標準偏差γをかけて新しい平均βを足しているので、 ミニバッチのデータ(の各チャネル)は平均β、分散γを新しく持つことになっています。そして、上記のURLの説明では、このβとγはデータで学習されるパラメータであると述べられています。
これらのパラメータを設けることでバッチノーマライゼーションで必ず平均0分散1にするのではなく、学習にあった平均と分散に従うように自由度をもたせているようなのですが、その学習方法というか数値の定め方が記載されておりません。
そこで、これらの新しい平均と分散の学習方法についてご存じの方がいらっしゃいましたら、ご教示頂けないでしょうか。
よろしくお願いします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。