tf-idfにおける文書(document)とは

Question

tf-idf法を使いたいのですが、idfにおける一文書の単位はどのくらいにすれば良いのでしょうか？
ある単語のidf値を調べる場合、
idf = log(全文書数 / 単語が含まれる文書数)
という式で求めるということになると思うのですが、ここでいう文書というのは、どのような単位で区切られているのかがわかりません。これの区切り方次第では文書数が変わってくるので、できるだけ適切な文書の単位を知りたいです。
例えば、１０個のテキストファイルに１００文ずつ文字が書いてあるとします。このとき、どうなるのでしょうか。一文ずつを一文書とするのか、一形態素を一文書とするのでしょうか？それとも、また別の単位？
適切な単位を知っている方にご教授お願いしたいです。

Answer 1

tf-idf法での特徴量を求める式tf*idfの値は
ある単語が、１つの文書内で多く出現し、他の文書ではめったに出現しないものが高くなります。

すなわち、**どのような文書の単位で特徴分けをしたいか？**により、文書の単位を変えます。

簡単な例で「日記」を考えます。

ある人の各日毎の内容の特徴を求めたい場合は、１日分の日記の文章を１文書とします。
すると、ある日は「卒業」、ある日は「入社」が高くなるなどの結果が出ます。

各人の日記全体の内容の特徴を求めたい場合は、各人の日記の全期間の文章を連結したものを１文書とします。
すると、ある人は「プログラム」、ある人は「サッカー」が高くなるなどの結果が出ます。

参考：TF-IDFで文書内の単語の重み付け

Comments

[tetsutail]

ありがとうございます。非常にわかりやすい説明でした。
どんな場合にも最適な文書単位はなく、何に対して特徴的な言葉を調べたいかによって適切な文書単位は変わってくるんですね。硬く考え過ぎでした。