単純なニューラルネットワークでの重みの更新についてです。
今回はあらゆるライブラリは使わず、ニューラルネットワークを構成しています。
基本としてはmnistのような画像データの識別をしているのですが、逆誤差伝搬で重みを更新するのに困っています。
隠れ層では活性化関数はsigmoid,出力層にはsoftmaxを用いています。
sigmoidを微分することは簡単にできるので、逆誤差伝搬することはできるのですが、softmax関数を微分した
derivativeなsoftmaxはどのように表すのか見当もつきません。
やり方を教えてくれないでしょうか。
sigmoidは
python
1def derivative_sigmoid(o): 2 return o * (1.0 - o)
ではsoftmaxではどうなのでしょうか。
あなたの回答
tips
プレビュー