ディープラーニングの自然言語処理について勉強しています。
http://deeplearning.hatenablog.com/entry/neural_machine_translation_theory
のサイトや、
https://qiita.com/KojiOhki/items/89cd7b69a8a6239d67ca のサイトを見ています。
覗き穴結合・忘却ゲート・更新ゲートがどういうものなのか理解できません・・・。
まず覗き穴結合に関してですが、
覗き穴結合 (peephole connections) は,メモリセルの内部状態を3つのゲートの制御に直接利用する仕組みである
とありますが、これはどういう仕組みでどういう機能を持つのでしょうか?
忘却ゲート・更新ゲートはまずそれぞれが互いにどのように違うのかが理解できません。
忘却ゲートでは受け取ったデータを単に使わないということでしょうか?でもそれだとドロップアウトになりますよね?
更新ゲートはどういう機能なのかさっぱり・・・。単に値を活性化関数に通すだけなら、わざわざ更新ゲートと名付けないだろうし・・。
教えて下さい、よろしくお願いいたします!
あなたの回答
tips
プレビュー