ニューラルネットワークの重みの初期値について

Question

※https://ja.stackoverflow.com/questions/77501/%e3%81%aa%e3%81%9c%e9%87%8d%e3%81%bf%e3%81%ae%e5%88%9d%e6%9c%9f%e5%80%a4%e3%81%abnp-random-randn%e3%82%92%e7%94%a8%e3%81%84%e3%82%8b%e3%81%ae%e3%81%8bでも似たような質問をしていますが、これは私がした質問です。答えにはなりません

ゼロから作るディープラーニングをやっていて重みの初期値について疑問に思ったことがあったので質問させていただきました。

質問

どうして重みの初期値にnp.random.randn（平均0、分散1（標準偏差1）の正規分布（標準正規分布）に従う乱数）を使うのでしょうか？それと、「平均0、分散1（標準偏差1）の正規分布（標準正規分布）に従う乱数」の意味がよくわかりません。

また、どうして、重みの初期値に「平均0、分散1（標準偏差1）の正規分布（標準正規分布）に従う乱数」を用いるとシグモイド関数を使ったときに、「表現力の制限」を受けてしまうのでしょうか？

Answer 1

「統計学が最強の学問である　実践編」のp52に、こういう文章があります。
（当てずっぽうなのですが）記してみました。ご参考までに。

「データのバラつき方が正規分布に従っているのであれば、最小二乗法が最も良い推定方法であり...」

Comments

[kontikuwa]

なるほどありがとうございます。そういう理由だったのですね！！

Answer 2

python - なぜ重みの初期値にnp.random.randnを用いるのか？ - スタック・オーバーフロー

これをどうぞ

Comments

[kontikuwa]

それは私の質問で、それでわからなかったのでここで質問させていただきました。もしよろしければ教えていただけないでしょうか？