tf-idf法の計算について

Question

文章I :私 /勉強 /好き/予習
文章II :来週/月曜/私/火曜/勉強会

(​TF-IDF法を適用した時の単語文書行列​)
次元 　　　1 　　2 　　3 　　4 　　　5 　　6 　　7 　8 単語　　　 私 勉強 月曜 火曜 好き 来週 勉強会 予習
文章Iの値 0 0.075 0 0 0.075 0 0 0.075
文章IIの値 0 0 0.06 0.06 0 0.06 0.06 0

上記文章において、tf-idf法を利用した際に、上記の表に入っている数値になるようなのですが、なぜこのような数値になるのか、どういう計算をしているのか分かりません。

お手数ですが、ご教示頂けたら幸いです。
宜しくお願いします。

Comments

[siruku6]

tf-idfそのものについて勉強した上で、その中でわからないところを的を絞って質問した方がよいと思います。
この質問の仕方だと、回答者が丸々全部説明することになるのではないかと思いますので...。

Answer 1

文章I :私 /勉強 /好き/予習
文章II :来週/月曜/私/火曜/勉強会

【技術解説】単語の重要度を測る？TF-IDFとOkapi BM25の計算方法とは

tf(私, 文章I)=1/4=0.25
idf(私)=log(2/2)=log(1)=0
tfidf(私, 文章I)=0.25*0=0

tf(勉強, 文章I)=1/4=0.25
idf(勉強)=log(2/1)=log(2)
tfidf(勉強, 文章I)=0.25*log(2)=0.0752…≒0.075

…
以下同様にで、下記となります。

単語	私	勉強	月曜	火曜	好き	来週	勉強会	予習
文章Iの値	0	0.075	0	0	0.075	0	0	0.075
文章IIの値	0	0	0.06	0.06	0	0.06	0.06	0

少しtf-idfについて調べられたのでしょうか。ご自身で調べてわからないところだけ質問なさってください。TeratailはそういうQ&Aサイトなので

Comments

[Boosta-Ken]

ありがとうございます。自身でも解決できました。