ニューラルネットワークのバイアスについて

Question

ニューラルネットワークにバイアス項（モデルのかたよりを計算するもの）をつける理由は何でしょうか？

レンタルバイク来客予想のコードには、バイアスがありませんが、学習に成功しています。

また、フレームワークには、NoBiasの設定がありますが、何を基準にNoBiasなのかがわかりません。

Comments

[quickquip]

マルチポストですね。 https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q13195258723 こちらを参考に対処されることを期待しています。 https://teratail.com/help#posted-otherservice

[teefpc]

ありがとうございます。削除しました。

Answer 1

バイアスの役割は次のノードで信号を伝達する閾値のようなものです。閾値であるということは、実数であればどのような値を採ることができます。つまりゼロとすることも可能です。参考にしているコードに「バイアスがない」というのは厳密にいうと正しくなく、バイアスがゼロということを表しています。

通常、バイアスは学習によって決定させるのですが、事前の分析によってバイアスに設定すべき値がわかっている場合、固定としても構いません。したがって、コードはバイアスをゼロ固定として学習対象にしていないということを意味しています。

おそらく、説明変数がオールゼロの場合、計算結果がゼロであることが望ましいようなものであるため、バイアスをゼロ固定とすることで、うまく表現しようとしようとしたのではないでしょうか。

Answer 2

まずは線形回帰あたりから理解していくことをおすすめします。

y=ax+b

を回帰するにしてもbに対応するパラメータが必要でしょう？

Answer 3

https://stackoverflow.com/questions/2480650/role-of-bias-in-neural-networks

Comments

[teefpc]

参考になりました

Answer 4

モデルとなっている神経細胞の「発火しやすさ」の表現だと考えられます。

神経細胞においてイオンチャネルが開閉しスパイクが生じる閾値は、チャネルの物理特性のウェイトが大きいためほぼ一定ですが、静止膜電位は濃度勾配、電位勾配の平衡の結果ですので、周囲のイオン濃度が変化すれば変わります。
神経細胞は(静止膜電位)＋(入力の重み付け和)>(閾値)、すなわち(入力の重み付け和)>(閾値)-(静止膜電位)となった時点で発火しますが、ニューラルネットワークの各細胞のバイアス項はこの(閾値)-(静止膜電位)の値を決めることに関連しています。

静止膜電位がだいたい同じ細胞群からなるネットワークであると仮定すれば、バイアス項を入れなくともスパイクの発生と伝搬のモデルは機能します。

Comments

[teefpc]

詳しい解説ありがとうございました