シグモイド関数の微分と逆伝播について

Question

シグモイド関数の微分について質問があります。

# coding: utf-8
# Your code here!
import numpy as np

# Train data
x = np.array([1,1])
t = np.array([1])

# Weighrs
W = np.array([[1],[1]])
b = np.array([1])

# Forward
h = x @ W + b
y = 1/(1+np.exp(-h))
print("y,t", y, t)

# loss = 1/2* (y-t)**2 # 平均2乗誤差
loss = t*np.log(y) + (1-t)*(np.log(1-y)) # シグモイドクロスエントロピー誤差
print("loss", loss)

# Backward
dy = y - t # ※➀
dh = dy * W
db = np.sum(dy, axis=0)
dW = dy * x

print("delta:", dy, dh, db, dW)

この逆伝播の計算は合っていると思いますが（間違っていたらご指摘ください）、
※➀は、シグモイド関数の微分も含めたクロスエントロピーの誤差の微分ですか？

また、平均2乗誤差で微分した場合も上と同じ逆伝播の計算となりますか。それとも、平均2乗誤差の微分 dy を、シグモイド関数の微分f'= f*(1-f) の式に通すことになりますか？

Comments

[segavvy]

ご質問とは関係しない部分になりますが、順伝播の
y = 1/(1+np.exp(h))
は、
y = 1/(1+np.exp(-h))
だったりしないでしょうか。

[teefpc]

そうでした。有難うございます。