重みづけを一様分布で行い、バイアスづけを正規分布で行う理由がわからないです。
現在、本を読んでTensorFlowの勉強をしています。
本のコードに
#重み W = tf.Variable(tf.random_uniform([input_dim,output_dim],-1.0,1.0)) #バイアス b = tf.Variable(tf.random_normal([output_dim]))
が出てきて、Wが重みでbがバイアスだそうです。
重みづけに使っているメソッド
random_uniform
は一様分布により乱数を出力するメソッドで
バイアスづけに使っているメソッドの
random_normal
は正規分布により乱数を出力するメソッドでありますが、なぜ
重みづけを一様分布で行い、バイアスづけを正規分布で行うのでしょうか?
一様分布は
最大値、最小値の間で、すべての値が同じ確率で起こることが特徴 で
正規分布は
均値以上と以下の値をとる確率は同じで、平均値に近いほど確率が高いことが特徴 であります。
https://sites.google.com/site/techdmba/distribution
しかし、
重みとは、それぞれの入力が出力に及ぼす影響の大きさを表す実数で
パーセプトロンが出力する傾向の高さを表す量 であるという説明から
https://nnadl-ja.github.io/nnadl_site_ja/chap1.html
重みづけには正規分布で
バイアスづけには三角分布を使うべきのような気がするのです。(その物事が起こる事象の高さを表現している関数という点から)
どうして、重みづけを一様分布で行い、バイアスづけを正規分布で行うのでしょうか?
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。