LSTMの隠れ層の理解とパラメータについて

Question

前提・実現したいこと

質問1: LSTMの隠れ層について
質問2: LSTMのパラメータについて．

私は，LSTMへ時系列画像の特徴量を入力して時系列画像のクラス分類を行いたいです．
ここでLSTMへ時系列特徴を入力するところまでは実装済みです．

以下で例として,LSTMへの入力時系列特徴を(3,10,1)とします．
（バッチサイズ，時系列画像のフレーム数，1フレームに対する一次元特徴量）です．
つまり，10枚の連続する画像からそれぞれ一つずつ特徴量を抽出，それが3セットとします．

ここでLSTMへ入力するとき，LSTMを時間方向に展開した図(ネット上などによくある図)で構造を理解していました．つまり，例に示すデータでは，一つの入力動画像の長さが10なのでt=1~t=10まで．
つまりLSTMの隠れ層は10であると思っていましたが，色々調べて見ると64であったり256であったり．．

ここで質問ですが，隠れ層の数は時系列データの数(上記では動画像の長さ=10)と一致するものではないのですか？

また，質問2としてLSTMモデルのパラメータ数です．
これも質問1の通り，私がLSTMの構造をよく理解できていないので起こる
質問なのですが，こちらのサイト（https://qiita.com/Phoeboooo/items/b92c35f6739a9e765a80）
でパラメータ数の数え方について学びました．
こちらのLSTMの項で多分，長さ20の32次元特徴量を入力としていると思います．
しかし，パラメータの数え方で入力に対しての重み32644の32*64の部分がわかりません．
私の中では，一つの隠し層に一つの時間(t=1~20のどれか)が入力するという認識だったので，
隠し層64に長さ20のデータを入力するという考え方がよくわかりません．

すみません，文が長くなってしまいましたが考え方で誤っているところを教えて頂けたら嬉しいです．
また，何か質問がある方もコメントして頂けたらその部分の説明をしたいと思います．
よろしくお願いします．

＜追記＞
model = Sequential()
model.add(LSTM(64,input_shape=(10,1024)))
model.add(Dense(output_dim, activation="linear"))

Answer 1

LSTMの隠れ層という言い方がまずしっくりこなくて、LSTMは「LSTMという1つの層」なのでは、と感じました。

ここでLSTMへ入力するとき，LSTMを時間方向に展開した図(ネット上などによくある図)で構造を理解していました．つまり，例に示すデータでは，一つの入力動画像の長さが10なのでt=1~t=10まで．

1つのLSTM層に「10回」入力を入れて、「最後に」LSTM層から出力された値を使うのが基本です。

attentionのような機構が次の層に入っている時は、「10回分の」出力をぜんぶ使いますが、だからといって「LSTM層が10個」とは数えないですね。
「1つのLSTM層が出力した結果10回分」と捉えるのではないでしょうか。

つまりLSTMの隠れ層は10であると思っていましたが，色々調べて見ると64であったり256であったり．．

これは実例がないと何を言っているのか分かりません。

---

隠れ状態(ベクトル)と隠れ層がごっちゃになっているのかなという印象を持ちました。

Comments

[rut00]

回答ありがとうございます。
質問文にkerasによるコードの一例を載せさせていただきました。

ということは、追記のコードの場合、入力は(10,1024)#1024個の特徴量,10フレーム分#であり、これがt=1~10まで入力されるLSTMが64個、隠し層にある。
という見方をすればよいのでしょうか？

[quickquip]

回答読んでますか?

「64次元の隠れ状態ベクトルを持つLSTM」が1個ですよ。

64次元のベクトルとoutput_dim次元ベクトルを出力に持ち、
前の層からくる1024次元のベクトルと、前の状態からくる64次元のベクトルと、前の状態からくるoutput_dim次元ベクトルを入力に持つ、
1個のLSTMです。

[quickquip]

すごく間違えました。

隠れ状態ベクトル(64次元)と記憶セルからのベクトル(64次元)を出力に持ち、
前の層からくるベクトル(1024次元)と、前の状態からくる隠れ状態ベクトル(64次元)と、前の状態の記憶セルからのベクトル(64次元)を入力に持ち、
次の層へは隠れ状態ベクトル(64次元)を渡す、

ですね。

[rut00]

ありがとうございます。
やっと理解できました。

自分の中でLSTM層の中での計算過程をイメージできていなく、前の状態からくる入力ベクトルの大きさを考えることができていませんでした。
パラメータ数も上記のサイトと自分の計算が一致して解決できました。