σ の意味について
σ はシグモイド関数です。
※ Deep Learning の文脈でその記号がでてきたら、上記を表すことが多いというだけで、あくまで「σ はシグモイド関数を表す」など但し書きがあるはずです。なければ、その説明は不親切です。
σ の役割
下記画像はゲートを表しています。
このゲートを通る値を取捨選択するという仕組みは以下のように実現されます。
まずゲートは「現時刻の入力」と「1つ前の時刻」の出力を受け取ります。
+マークでそれらは足し合わせ、要素ごとにシグモイド関数を適用するので、g の各値は 0.0 ~ 1.0 になります。(シグモイド関数は値域が 0 ~ 1)
そして、✕マークの部分でこれとゲートを通ろうとする値の要素ごとの積が計算されます。
ゲートの値 g が 0 に近ければ、その値はほとんど通さず、1 に近ければほぼ全部通すことになります。
x、h について
x は LSTM の入力
h は LSTM の出力
どちらも数値データです。文章はネットワークに流す段階で数値化されています。
✕ の意味について
要素ごとの積です。
x = [1, 3, 5], y = [2, 4, 7] とするとき、
x ✕ y = [12, 34, 5*7] = [2, 12, 35] になります。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/09/15 11:49
2018/09/15 12:03
2018/09/15 12:10
2018/09/15 12:42
2018/09/15 12:49
2018/09/15 13:14