【自然言語処理】1層目に学習済みEmbedding層を使う場合、未知語の扱いについて

Question

LSTMで文書の自動生成プログラムを作成しています。

現在生成の精度が低く、改善させるために1層目に学習済みの分散表現を利用しているのですが重みを固定するかで迷っています。
既知のワードは重みを利用し、未知のワードはランダムに生成された重みを利用する予定ですがこの場合は重みを固定して学習すべきか、重みを変化させ学習すべきかどちらでしょうか？

Answer 1

頻度の低い単語は未知語のままUNKに置き換えることで解決しました。