バイアスの初期値について

Question

今，DeepLearningについて学習しています．
重みパラメータの初期値について様々議論されているようですが，
バイアスの初期値について何も書かれていません．

ただ私の読んでいる本にたまたま書かれていなかったのか，
研究が進んでないのか，
議論の余地もないのか

どれなのでしょうか，

回答お待ちしております．

Answer 1

バイアスを担当するユニットの出力値は1とかで固定して、それに掛ける倍率を誤差逆伝播法で調整していく訳です。

取り扱いとしては、通常の重みとまったく同様です。単純なパーセプトロンの実装では入力値に1をconcatして、入力次元数を+1する形で書いたりもするくらいです（実行時の効率を考えるとそこまで上手いやり方ではありませんが）。

Comments

[hook]

ありがとうございました。

Answer 2

基本的に重みといった場合、ニューロンの結合間の重みだけでなく、バイアスも含みます。
なので、あえて分けて議論することはないです。

Comments

[hook]

納得しました．ありがとうございました．