Kmeansによるクラスタリング

Question

自然言語処理にて、TfidfVectorizerで加工した特徴量を、
Kmeansによりクラスタリングすることで数値化しています。

Kmeansによるクラスタリングは、どちらの認識が正しいでしょうか。
①trainデータで学習した結果を、testデータに反映するものなのでしょうか。
②同じコードであれば、同一基準でクラスタリングされるので、反映するとかではない。
③上記のどちらの認識も間違い

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer(min_df=1,max_df=50)
vecs = vectorizer.fit_transform(df.text)

from sklearn.cluster import KMeans
clusters = KMeans(n_clusters=4, random_state=0).fit_predict(vecs)

Answer 1

使えるメソッドの候補は

• fit
• predict

の2つだけです。他にfit_predictというのもありますが、これはfitしてそのまま同じデータをpredictするだけです。

predictの際には

Predict the closest cluster each sample in X belongs to.

という挙動になります。最も近いクラスタ中心にサンプルを割り振るだけですね。

もっともよくやる「分析」は学習データとテストデータとかに分けないで教師なしでk-Meansをかけて見てみるというものなので、この場合はfit_predictで事足りますし、あるいはfitを呼んでからlabels_属性を見ても構いません。

機械学習の前処理などで使いたいので、学習データとテストデータが出てきてしまうというケースでは、分類器などに準ずる扱いをします。つまり、学習データだけでクラスタ中心を計算し、それに基づいて学習データとテストデータのクラスタラベルを割り当てます（質問文の①）。

sklearn.cluster.KMeans — scikit-learn 0.22.1 documentation