LSTMとエンコーダ・デコーダの関係について

Question

LSTMとエンコーダ・デコーダの関係がよく分かりません。
LSTMは入力層・出力層・忘却層の３つの層からなると認識していますが（あってますか？）、エンコーダ・デコーダがこれらのどこに関係してくるのか分かりません。

Answer 1

エンコーダー、デコーダーとLSTMの関係について

LSTM は時系列データを扱える RNN の一種ですが、質問から察するに文章データを扱いたいということでしょうか。
よくまとまっている参考リンクを貼っておきます。

• Encoder-decoder 翻訳
• 深層学習による自然言語処理 - ニューラル機械翻訳への理論 -
• ChainerとRNNと機械翻訳

LSTM

LSTMは入力層・出力層・忘却層の３つの層からなると認識していますが

ニューロンが並んでいるので層と呼んでもいいですが、ネットワークの入力層、出力層と重複して紛らわしいので、入力ゲート、出力ゲート、忘却ゲートと呼ぶことのほうが多い気がします。
実際これらは値を流すか、流さないかのゲート (門) としての役割を持ちます。

追記

エンコードとは一般にデータをある規則に従い、変換すること、デコードはエンコードした情報を元に戻すことをいいます。

なので、エンコーダー、デコーダーはどの文脈でその言葉が出てきたのかによって意味がかわってきます。

---

１つのLSTMのセルの中にエンコーダー・デコーダーは１組ずつある、という認識であっていますか？

LSTM は全結合層や畳み込み層と同様1つの層ととらえてください。

おそらく、自然言語処理のモデルで「LSTM を使ったエンコーダーデコーダーモデル」のような記述を目にしたのだと思うのですが、「エンコーダー、デコーダーの役割をもたせる層に LSTM を使うモデル」ということであって、LSTM とエンコーダーデコーダーは直接は関係ありません。
LSTM を理解する際はエンコーダーデコーダーの話は一旦置いておいてください。

Comments

[taiyo2017]

エンコーダー・デコーダーとは、入力を処理するのがエンコーダーで、出力を生成するのがデコーダーで、それを組み合わせたモデルのことで、１つのLSTMのセルの中にエンコーダー・デコーダーは１組ずつある、という認識であっていますか？

[tiitoi]

追記しました。