なぜ∂(交差エントロピー誤差)/∂(重み)=0の解が誤差を最小にするのか

Question

現在、「はじめてのパターン認識」を読んでいるのですが、タイトルにも示した通り、∂(交差エントロピー誤差)/∂(重み)=0の解(重み)がなぜ交差エントロピー誤差を最小にする重みとなると言ってよいのかがわかりません。
（書籍には「解析的に解を求めることはできないので、最急降下法やニュートン・ラフソン法などで数値的に解を求める」と書かれています。）

交差エントロピー誤差関数の式を見る限り、重みを変数として見た場合2次関数のように下向きに凸の形を取らず、「極小値をとる点で傾きが0になる」という考えを当てはめることはできないように思えます。

ご回答宜しくお願い致します。

Answer 1

二値分類、教師ラベル=1の項だけ見るとして、交差エントロピー誤差関数はざっくり書けば-log y（ここでyは単一の予測値）となります。微分すれば-1/yです。

ここだけ見ると、y=0なら傾きは-∞、y=1で-1ですが。これは、∂E/∂yです。

活性化関数の入力をzと置いて、活性化関数はsigmoidとして∂y/∂z=(1-y)y、∂z/∂wi = xi

よって、∂E/∂wi = ∂E/∂y ・ ∂y/∂z ・ ∂z/∂wi = -(1-y)xi

y=1が誤差最小であり、そのときちゃんと∂E/∂wi=0です。教師ラベル=0の項を足したりマルチラベルにしたりしても（その場合はsigmoidの一般化のsoftmaxでやってください）基本的には同じです。

Comments

[a_boy]

ご回答いただきありがとうございます。
では、３次関数などの極小値を求める際によく使われるような「極小値をとる点で傾きが0になる」という特性を生かして重みを求めようとしているのではなく、あくまでも結果的に「wiが交差エントロピーを最小にするとき∂E/∂wi=0となる必要がある」という必要条件が生じるといったかんじですかね。

[hayataka2049]

すみません、返信が遅くなりました。
一方向に降りてゆく関数ですから、∂E/∂wi=0なら「収束した」と捉えて良いのかと思います。
（現実的には収束まで持っていったらオーバーフィッティングな可能性はあり）

[jbpb0]

> 「極小値をとる点で傾きが0になる」という特性を生かして重みを求めようとしているのではなく

「極小値をとる点で傾きが0になる」という特性を活かしてパラメータ最適値を求めてますよ
特性の活かし方が、多項式のように解析的に解ける場合と違うだけで
http://arduinopid.web.fc2.com/N40.html

[a_boy]

皆様ご回答頂きありがとうございます。
皆様の回答も含め、半分自己解決的にはなるのですが、交差エントロピー誤差関数が下に凸であるということが証明でき、また予測値yの値を考慮せず関数をプロットしたところ二次関数のような形になることが確認できたため、単に極小値をとる点で傾きが0となる条件を述べているだけだということが理解できました。

Answer 2

式を用いずに説明すれば、内積の最少はマイナスまで行きます。つまり下向きの凸の頂点の真の垂直方向のベクトルにたどり着いたときに最小になります。ここにたどり着くために活性化する訳です。