bidirectional-LSTMの学習方法につきまして

Question

お世話になっております。現在自然言語について勉強しており双方向LSTMについて教えていただきたいことがあります。

今日は()に行きたい。

といった例文で()に入る言葉を双方向LSTMの予測で当てるといったことをするときに、学習時データの入力と正解ラベルはどのようになるのでしょうか？
私の予想では、今日は→LSTM→に行きたい。 になるのではと考えているのですがいかがでしょうか？「今日は」が入力で「に行きたい。」が正解ラベルという意味です。

Answer 1

ストレートにはコーパス上の文を正解にして、マスクした入力今日 は <MASK> に 行き たい 。から今日 は 遊び に 行き たい 。と元の文を復元するようにLSTMを鍛えるのでしょうね。
復元するとは限らない、とか、複数候補をどう出すか、とか課題は色々あるでしょうが。

https://skilp4d.medium.com/masked-language-modeling-with-recurrent-neural-networks-cf28a7933f61

Comments

[despaine198]

なるほど。わかりました。
では、例えば過去のデータだけを入力をした場合双方向LSTMはどういうふうな動き(「遊び」が出てくる確率分布をLSTMで出力できるか)をするのでしょうか？やはり双方向のLSTMでは下記の入力では予測が難しいのでしょうか？
[今日 は ()]というようにmaskされていたとして、
input[今日 は] → BI-LSTM → output:[遊び]
といった風にできるのでしょうか？

[quickquip]

コーパスに「今日 は 遊び に 行き たい 」があったら
IN: 今日 <EOS> OUT: は
IN: 今日 は <EOS> OUT: 遊び
IN: 今日 は 遊び <EOS> OUT: に
IN: 今日 は 遊び に <EOS> OUT: 行き
IN: 今日 は 遊び に 行き <EOS> OUT: たい
の群を学習に使う正解データとして使うということでしょうか?

直感で
今日 は <MASK> に 行き たい
と
今日 は <MASK>
では予測が違う（<MASK> に入りそうな語は変わる）だろうと感じます。

[quickquip]

どういう動きをするか? という問いがおかしくて、学習に使う「正解」の入力-出力の形をどう用意するか? という考えをした方がいいのではと感じました。