Bidirectional LSTMについて

Question

Bidirectional LSTMにおいて時系列データの最新のデータ(t1~t5のデータだったらt5)を予測するときは逆方向の処理はt5のデータに対してしか行われないと思うのですが、それって普通のLSTMと性能は変わるのでしょうか。最後のデータに関しては結局順方向のLSTMの時と得られる情報量は変わらないような気がしたのですが、Bi-LSTMの方が良い結果が得られているデータを見たことがあったので疑問に思い質問しました。

Answer 1

普通のLSTMではt5を予測するのに、t1,t2,t3,t4の順に入れていくのとt4,t3,t2,t1の順に入れていくのと、どちらかが選べてタスクに依って性能が変わります。
BLSTMは双方向をいっしょにやります。だからBidirectional。

---

BLSTMだとt5の予測(?)に、「逆方向からのt5を入力した状態」と「順方向のt1,t2,t3,t4,t5を入力した状態」の両方からの情報が入ってくるんじゃないかと思います。
（タスクが不明なのでどういう出力なのか確かなことは分かりませんがそういう話をしているのでは）

Comments

[TK_teratail]

LSTM、bi-LSTMではt5を予測するのにt5のデータは使わないのでしょうか？
t1〜t5のデータをクラス分類する時にt5のデータなしでt5を分類できるということでしょうか

[quickquip]

何を聞かれているのか分かりません。
タスクは「t5の予測（回帰）」ですか? 「t1からt5の（それぞれの?）分類」ですか?

（質問も「なんか変だな」とは思ってたのですか言葉の綾かなと思ってスルーしてました）

[quickquip]

いや、わかりました。

[TK_teratail]

正直LSTMについてあまり理解できておらず言葉足らずで申し訳ありません。
タスクはt1からt5の分類でお話ししていました。
例えばt6で人が死ぬとして、t1〜t5は人が死ぬ5〜1日前を表しているような時系列データがあった時、t1〜t5がそれぞれその人が死ぬ何日前なのか分類するというタスクを考えていました。
特徴量が1日の行動時間の平均値などだった場合、bi-LSTMの「逆方向からt5を入力した状態」と言うのがどういう情報なのか分からず質問していました。

説明力なさすぎてほんとにすいません

[TK_teratail]

死ぬ4日前を分類したい場合
死ぬ5→4日前のデータを順に入力した結果と1→4日前のデータを順に入力した結果を組み合わせて分類する。

死ぬ1日前を分類したい場合
死ぬ5→1日前のデータを順に入力した結果と死ぬ1日前のデータを入力した結果を組み合わせて分類する？→これだと死ぬ5→1日前のデータを入れるだけのLSTMと得られる情報は変わらないのでは？
と混乱してます。

[quickquip]

↑のようなタスクで逆順がどう利くのか? というのは直感しづらいと思います。
順方向が利くのか逆方向が利くのか、それともBLSTMがいいのかという話だと、自然言語の翻訳タスクとかを想像した方がいいです。

[quickquip]

あとは「『何か』が起きたのはいつだったのか?」を当てるタスクとかですね。

[TK_teratail]

なるほど。この場合だと1日前の予測でbi-LSTMの方が性能が良かったのはテストしたデータがたまたま予測しやすかったとか他の原因があると考えられますかね？

t1〜t4を元に次のt5を予測するようなタスクでないと有効でないと言うことですかね