誤差逆伝播の偏微分の式変形に関して

Question

詳解ディープラーニングで誤差逆伝播の勉強を進めているのですが、途中でわからない式変形がありましたので質問させていただきます。(p.126の3.93について)

【前提条件】
入力層、隠れ層、出力層のそれぞれ全結合のシンプルな３層構造です。

入力値:x
隠れ層のノード:h
出力値:y

入力層→隠れ層の重み:w
隠れ層→出力層の重み:v

入力層→隠れ層のバイアス:b
隠れ層→出力層のバイアス:c

入力層→隠れ層の活性化関数:f
隠れ層→出力層の活性化関数:g

誤差関数:E = E(W,V,b,c)

と置いています。

つまり、
h = f(Wx + b)
y = g(Vh + c)

として、誤差逆伝播を求めていくために、

p = Wx + b
q = Vh + c

と置いて、計算を進めています。
誤差逆伝播なのでσE/σwやσE/σcを求めていくとその式の中に
σE/σpやσE/σqが出てきます。

そこでだいぶ前のページの数式と見比べて

を出すのですが、問題なのは次で

という式変形があるのですが、
σq/σpの変形がf'(p)v)になるのがわかりません。

どなたかわかるかたがいらっしゃれば教えて頂けるとうれしいです。
よろしくお願いします。

Answer 1

V_kはk番目のノードに対する重みの多次元ベクトルという意味で使っています。
V_k = (v_k1 v_k2 ・・・ v_kj ・・・ v_kK)
ということです。

∂{ v_1j・f(p_j) } / ∂f(p_j)や∂{ v_2j・f(p_j) } / ∂f(p_j)
は
∂{ v_kj・f(p_j) } / ∂f(p_j)
に含まれています。そのためのkです。
回答は以上です。

頑張ってください。

Answer 2

恐らく、
y = g(Vh + c)
ではなく
y = g(VH + c) ・・・① (Hはhを要素にもつ行列（多次元ベクトル）ですよね。)
書籍だと、hの上に波線~(波バー？)を付けて表現されるのが普通ですが。
提示の本を読んだことがないので真相を分かりかねますが
もし付いていなかったら、僕はお手上げです。以下は読まないでくださいね。
また、 僕の説明で分からないことがあれば、「偏微分」「行列」「統計」を一通り学習してみるといいです。この辺の理解をすることで、上っ面の理解ではなく、ごまかすことなく、ディープラーニングを理解して応用できるようになるでしょう。

①を前提にします。（p_jは広げて書けば、p _ jとなります。jがiに見えますね。）
∂q_k/∂p_j
=∂(V_k・H + c)/∂p_j (∵ q_k = V_k・H + c )
=∂{V_k・(h_1 h_2 ・・・ h_j ・・・h_K)' + c}/∂p_j
=∂[V_k・{f(p_1) f(p_2) ・・・ f(p_j) ・・・ f(p_K)}' + c]/∂p_j (∵ h_k = f(p_k) )
=0・(K-1) + 0 + ∂{v_kj・f(p_j)}/∂p_j (∵ ∂{v_kz・f(p_k)}/∂p_j=0(k≠j) , c/∂p_j = 0)
=d{v_kj・f(p_j)}/dp_j
=f'(p_j)・v_kj

これからも、頑張ってください。

Comments

[退会済みユーザー]

丁寧なご回答ありがとうございました。
本の中でもhは小文字なのですが、太字なので(h_1 h_2 .... h_J)のベクトルでした。質問の仕方がわかりにくくてすいませんでした。

kirensunakawa様の回答を見ることでとても理解が進んだのですが１点だけわからないことがあったので質問してもよろしいでしょうか。

式変形の５行目
=0・(K-1) + 0 + ∂{v_kj・f(p_j)}/∂p_j (∵ ∂{v_kz・f(p_k)}/∂p_j=0(k≠j) , c/∂p_j = 0)
についてなのですが、

Vはk*j行列で、f(p)はj*1行列なので展開すると、

v_11・f(p_1) + v_12・f(p_2) + ・・・・+【v_1j・f(p_j) 】
+・・・・・・・・・・・・・・・・・・+【v_2j・f(p_j)】
+
・
・
・
+・・・・・・・・・・・・・・・・・【v_kj ・f(p_j)】
+c

になるので、f(p_j)以外がかかってる【】以外のところはp_jで偏微分することで0になるのはわかるのですが、どうして
∂{ v_1j・f(p_j) } / ∂f(p_j)や
∂{ v_2j・f(p_j) } / ∂f(p_j)も0になるのでしょうか。

ラスト2行は理解できるのですが、ここがどうしてもわかりません。
お手数ですが、ご教示願えませんでしょうか。
よろしくお願いします。

[kirensunakawa]

あっ、回答として投稿してしまいました。
下の方をご覧ください。