LSA,TF-IDFの挙動について質問があります。
以下のような文章があったとします。
今日の天気は晴れです 昨日はお疲れ様でした 明日は何が起こるのでしょうか
これにpythonのsumyからLSAを用いて1文だけ取り出すと、「今日の天気は晴れです」が出ました。
さらに追加で下記のように1文を追加しました。
今日の天気は晴れです 昨日はお疲れ様でした 明日は何が起こるのでしょうか 今日の天気は晴れです
のようにした場合、tfidf値は下がるはずなのに「今日の天気は晴れです」と結果が変わりません。
抽象的ですが、なぜこのような現象が起こるのでしょうか?
>pythonのsumyからLSAを用いて1文だけ取り出すと、
私はこの分野は素人ですが、ここの一文だけで何をやっているか理解できるでしょうか?
ソースコードを書いていただければ再現性を確認できますし、曖昧さがなくなって問題の事象を共有できます。
あなたの回答
tips
プレビュー