回答編集履歴

2 誤解を招きかねない個所の訂正 LouiS0616 score 33313 2017/07/01 14:13 投稿

正直ソースコードは見てないのですが、根本的に誤解が多いようなのでそこだけ指摘させていただきます。

**損失関数の値を保持・復元**

損失関数の値は逆伝搬に用いられる以外は、あくまで目安として捉えるものです。

この値が瞬間的に小さいからと言って、その瞬間のモデルが良いとは全く言えません。

モデル自体を評価したいなら、バリデーションデータに対する精度や再現率を用いてください。

**二乗誤差Eがもっとも小さい値を保持する**

違います。指定した回数、あるいは条件を満たすまで学習したときのパラメータが一般に保持されます。

しかし、パラメータが過学習している恐れもありますから、途中のデータも保持することが多いです。

**そのときの重さは二乗誤差Eから復元できるか**

全く出来ません。

二乗誤差Eがスカラー量であるのに対して、重みはリンクの本数だけの要素を持つベクトル量です。

**新たな入力に対して、定められた重さと二乗誤差を用いて適切な値を予想**

新たな入力と言うのが~~テスト~~データだとするなら、全く見当違いです。

新たな入力と言うのが実践データだとするなら、全く見当違いです。

二乗誤差が求められるのは、正解が明確に存在する教師データだからです。

また、ニューラルネットワークのパラメータは重みだけではなく、バイアスも考える必要があります。

**入力ノードの一つ一つにランダムで割り当てられた重み**

重みがつくのはノードではなくてリンクですし、隠れ層のパラメータも加味すべきですね。

また、重みの初期値がランダムであることに必然的な理由はないです。

**行きついた値と教師データの値との間の誤差を見てフィードバック**

かなりふんわりとした表現ですが、まあこの部分は正しいと思います。

**根本的に誤った記憶**

ジグモイドではありません。シグモイドです。

RuLAではありません。それはドラクエの呪文です。正しくはReLUです。

また、これに関しては人によりけりなのかもしれませんが、重さより重みの方が一般的かと思います。

1 作文の成形 LouiS0616 score 33313 2017/07/01 12:31 投稿