短い文章から単語を抜き出す

Question

前提・実現したいこと

短い文章から単語を抜き出す

検討中の手法

・トピックモデル（LDA）を使った手法

などが思いつきますが、
トピックモデル（LDA）を使った手法では文量量が足りず
精度は低いのではないかと考えられます

Answer 1

TF-IDFでいいのでは。高すぎるものを除去した上で、上位の語を拾ってくればそれっぽくはなるかと。

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。
TF-IDFは知らなかったので、簡単なコードから試してみようと思います。

Answer 2

コカ・コーラ 綾鷹 お茶 ペットボトル (2L×6本)×2箱

が、コカ・コーラ、や、ペットボトル、にならないことをどう考慮するのかが難しいですね。

カルビー じゃがりこ チーズ 58g × 12個

は、チーズ、になりそうですね。

ECサイトなら商品の画像もあるので、そちらも考慮に入れてみてはいかがでしょう？

---

インタラクティブにできるのなら、とりあえずモデルでラベルをつけちゃって、人を集めて修正をかけていく、という方法もあるかもしれませんが。
つまり、解こうとしているものは少々哲学的なので、既知のものに関する辞書をうまく構築する仕組みを作るということです。

人間が同等のタスクを与えられた時は連想を組み合わせることによるかと思われます。

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。
既知のものに関する辞書というのはワードネットなどの概念辞書でしょうかそれともIPAやWikipediaの学習済みモデルなどから生成した辞書でしょうか。

[mkgrei]

想定通りの挙動をするのであればどんな辞書でも良かったのですが。

最初に想像していたのは、商品名から潜在表現へのマッピングです。
これには1対多と多対1の２つの辞書が必要です。

例えば、商品名を変換して、カルビーは｛商品名、おかし、ポテチ｝、チーズは｛食べ物、味、チーズ｝というように。
その次にこれらの表現からポテチが出力されるようなモデルを作ってあげます。

この二段階のモデルにどのようなものを使うべきかはまた別に考える必要がありますが。

潜在表現の抽出方法はいろいろと考えられて、手でラベル付けする以外に、例えば、商品説明、レビュー、検索結果などの活用が考えられます。

[退会済みユーザー]

ご丁寧にご説明いただきましてありがとうございます。