Word2Vecの最小単語数を設定した時の「破棄する」という意味について

Question

現在、Word2Vecの勉強をしているのですが、最小単語数を設定すると、設定した値の回数の単語が出てこなかったら破棄されるっていうのがありますが、破棄されるの意味がよく分かりません。

そのままの言葉の意味で、大して出てこない単語は殆ど使うことがないし、メモリ使用量も増えるから、その単語を無いものとするって解釈でよろしいですか？

それとも、もっと別の意味があったりするのでしょうか？

どなたかご教授お願いいたします。

Comments

[quickquip]

> 最小単語数を設定すると、設定した値の回数の単語が出てこなかったら破棄されるっていうのがありますが
どこに書いてあるのかを示すか、あるいはどのように書いてあるのか正確に引用するかしていただけないでしょうか?

[tome_neko]

実はWord2Vecのパラメータについての論文を読んでいまして、そこに出てきたのが最小単語数というものです。
最小単語数のことが書いてある論文が載っているURLが以下となります。(IEEEに記載されているものです)
https://ieeexplore.ieee.org/document/8620919

その論文の中で、書いていた文章をここに引用します。
「 Bu durumu incelemek için minimum kelime sayısı 2 seçilerek bütün derlem içinde 1 kere tekrar eden kelimeler atılmıştır. 」
「最小単語が2として選択されると、コレクション全体で1回繰り返された単語は破棄されました。」

論文がトルコ語で書いてあるので、翻訳機を使いながら読んでいたのですが、結局理解できず質問させていただいたということです。

Answer 1

-min-countオプションのことであれば「その単語を無いものとする」という解釈で合っています。
意味のある単語なら何回か出現しますので、わずか数回（デフォルトは5でしたっけ）しか出てこないものは無視しよう、ということだったかと思います。

Comments

[tome_neko]

回答ありがとうございます！
返信するのを忘れてしまい、そのままでした...

疑問がすっきりできてよかったです！！

[segavvy]

お役に立てたようで良かったです！