knn.fitの役割について。

Question

Pythonのknn.fitについて質問です。

knnを実装するにあたり、knnのインスタンスを作成し、訓練データをインスタンスに適合させ、テストデータを当てはめるのが通常の流れだと理解しています。
具体的には以下の通りです。

from sklearn.neighbors import KNeighborsClassifier
# knnのインスタンスを作成
knn = KNeighborsClassifier()
# 訓練データにknnのモデルを適合させる
knn.fit(X_train, y_train)
# テストデータに対して、予測を行う
knn.predict(X_test)
# 決定係数を出力
knn.score(X_test, y_test)

ここで私の抱えている疑問としては、
knnというアルゴリズムは、分類したいデータ点に対して、距離指標（ユークリッド距離など）を定め、多数決を行うものであるため、.fitにおいて何がされているのか、イメージできません。

学習ステップは存在しないアルゴリズムであるはずなので、「.fit」で行われているものというのは、ただ単に訓練データを読み込んで、距離関係を把握（暗記？）しているだけという理解が正しいのでしょうか？

もし詳しい方がいらっしゃいましたら、ご教授いただけると幸いです。

Answer 1

関数グラフを作ろうとしているのではないという点ではお考えの通りです。
k件のデータによる多数決で各重心を比定するのでそこを中心とした縄張りが描けます。その縄張りの集合体が学習結果の判定モデルとなります。

こちらの機械学習④ K近傍法 (K-nearest neighbor) まとめの記事のk=1のときのグラフの境界とk=20のときのグラフの境界の違いのように判定モデルの複雑さと精度の違いが分かると思います。

つまり、fitメソッドはこの場当たり的な縄張りを描くために判定値を当てはめるわけです。

Comments

[masa_00]

「学習結果の判定モデルを作成しているから」なんですね。
単純に訓練データを読み込んでいるというだけでしたか。ありがとうございます。

[seastar3]

このfitメソッドの過程を機械学習と呼ぶわけです。
したがって恐縮ですが、[機械学習]タブも追加していただくと、後学の方々の参考になると思います。