ニューラルネットワーク 逆誤差伝搬時の微分について

Question

プログラミングというよりは数学に近い話ではありますが…

入力層、隠れ層、出力層の三層があるニューラルネットワークを考えます。ノードの発火はsigmoid関数で行います。
隠れ層のノード数をi、出力層のノード数をj個とします。
隠れ層の出力値をIi、隠れ層から出力層への重みをWij、出力層のノードの入力値をXj、出力値をOj、正しい解をTjとします。
ここで、以下の関係が成り立ちます。
Σ[k=0..k-1]Ik×Wkj = Xj
sigmoid(Xj) = Oj
ここで、誤差Ejを
Ej = (1/2) × (Tj - Oj)^2
と定義します。
EjをWijで偏微分すると、
(∂Ej/∂Wij) = (∂Ej/∂Oj) × (∂Oj/∂Xj) × (∂Xj/∂Wij)
∂Ej/∂Oj = Oj - Tj
∂Oj/∂Xj = sigmoid(Xj) × (1 - sigmoid(Xj)) = Oj × (1 - Oj)
∂Xj/∂Wij = Ii
ゆえに、
(∂Ej/∂Wij) = (Oj - Tj) × (Oj × (1 - Oj)) × Ii
となりますが、
Oj × (1 - Oj)
の部分に注目すると、この式はOjが0や1に非常に近い、つまりXjが極端に大きい、あるいは小さい場合、極端に値が小さくなってしまいます(sigmoid関数の微分なので当たり前ですが)。
この値に基づいて学習した場合、Xjが極端に大きい、あるいは小さい場合に、全く重みが更新されないという問題があるように思えます。
この問題はどのように解決すれば良いのでしょうか？

Answer 1

Ojが0や1に非常に近い

のであれば、学習は終わっているとみなすことになります。

確かに、初期値でいきなり

Xjが極端に大きい、あるいは小さい

になってしまった場合、良くない結果になることが予想されはします（完全に間違った方の答えを出力して学習が進まない）。それを避けるために、

• 入力データを正規化する
• 重み行列を正規分布（Xavierの初期値など）で初期化する

といった古典的なノウハウがあり、これによって確率的にXjが0に近い値を取るようにします。また、学習係数を調整することでXjの極端な変動を避けられます。

もっと言えば、実際にパターン認識等でニューラルネットワークを用いる場合は（バッチ、ミニバッチ、オンライン問わず）複数のサンプルの情報を用いるため、特定のサンプルでそのような悪条件になっても、他のデータでは問題なく学習が進み、Wが最適化されることでどうにか抜け出せるかと思われます。

Comments

[Watching]

解答ありがとうございます。初期化の段階でXjが極端な値になってしまうような重みだとやはり問題が発生するのですね。
自分のニューラルネットワークが上手く動かないのは初期化の問題でXjが極端な値になっていることが原因かと思ったのですが、どうやら違うようです。それに関してご教授願いたいので、質問を立てます。よろしければ解答お願いします。