Embedding層とSimpleRNN層の役割を知りたいです。

Question

KerasでのリカレントニューラルネットワークのEmbedding層とSimpleRNN層では何がなされているのでしょうか。また、引数の数字やOutput ShapeのNoneはなにを意味しているのでしょうか。

model.add(Embedding(...,..)
model.add(SimpleRNN(..))
model.summary()

Output shape
(None,None,..)
(None,..)

Answer 1

Embeddingは埋め込みという処理を表します。
単語の指す意味ごとに場所を割り振るイメージでしょうか。それ単体では意味を持たない（人間には理解できない）散らかったパラメータ群を、意味のある場所にプロットしなおす操作です。「単語をベクトル表現にしてプロットすると、人と人間は近いところにあるけれども人と車は遠いところにある」というような表現がわかりやすいかと思います。

適当な例ですが、
みかん=[1, 0, 0]
りんご=[0, 1, 0]
トマト=[1, 1, 0]
自動車=[0, 0, 1]
とあったときに、なんとなく

「みかん<-->トマト<-->りんご」
　　　　　　　^
　　　　　　　|
　　　　　　　|
　　　　　　　|
　　　　　　　|
　　　　　　　v
　　　　 「自動車」

という関係性が見えるかと思います。

SimpleRNNについては、まんまですがシンプルなRNNです。恐らく複雑にしたLSTMに対する意味でシンプルとされているのだと思います。これは、前の出力結果を次の入力に使いまわすものです。この辺の説明は専門書やQiitaにたくさん説明がありますのでそちらを参照ください。

Noneについては、具体的な例がないので何とも言えませんが、RNNは再帰処理処理をするのですが、初めの一回は再帰の”元”がないのでやむを得ずNoneを突っ込んでいるのだと思います。

引数の意味については項目が膨大な数になるので、適宜リファレンスを参照ください。わからない部分をどうわからないか具体的に質問に起こして投稿すると、皆様から回答がもらえるものと思います。

Comments

[akasatanaham]

お手数おかけしました。詳しい解説ありがとうございました。助かりました。質問の仕方、修正したいと思います。アドバイスありがとうございます。