tfidfのパラメータチューニング方法

Question

下記の関数を利用して、tfidf値をチューニングしようとしています。
そこで、tfの重みを軽くし、idfの重みを重くするということをしたいと考えています。
が、以下の抜粋した説明にあるように引数として、use_idfをtrueとして設定し、idf_を設定するのかなと思いましたが、idf_がattributeでうまいこと理解ができていません。結局何をすればチューニングできるのかご存知のかたいましたらご教示頂けませんでしょうか？

use_idf : boolean (default=True)
Enable inverse-document-frequency reweighting.

idf_ : array, shape (n_features)
The inverse document frequency (IDF) vector; only defined if use_idf is True.

https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html#examples-using-sklearn-feature-extraction-text-tfidfvectorize

Answer 1

TfidfVectorizerのsublinear_tfを調整して解決

Answer 2

attributeというのは属性ですから、fitさせたあとに

vectorizer = TfidfVectorizer(...)
vectorizer.fit(docs)
print(vectorizer.idf_)

のようにアクセスできるだけです。

idf_を設定する

ということはできません。

tfの重みを軽くし、idfの重みを重くする

というのも意味がわかりません。tf-idfはtfとidfの掛け算でもとめますから、重みというものはそもそもありません。仮に重み付けしても結果が定数倍されるだけなので無意味ではないでしょうか。

Comments

[sequelanonymous]

ありがとうございます。sublinear_tfで調整して解決しました。

[hayataka2049]

そうなった経緯はまったくわかりませんが、結果的に得たいものがえられたのであればいいと思います