【Python】K近傍法で効率よく教師データを追加する方法

Question

前提・実現したいこと

scikit-learnのKNeighborsClassifierクラスを使って分類問題に取り組んでいます。
そこで、ある教師データについてモデルをfitしたあとに、教師データを追加してもう一度fitしなければいけない場面に出くわしました。

しかし、もう一度fitする際には、既にfitした教師データもふくめたすべてのデータに関してfitしなおす方法しかわかりません。
このままではfitの処理が冗長なのではないかと感じました。

もうすでにfitされたモデルに対し、追加の教師データに関して効率よくfitする方法はあるのでしょうか。
特にエラーなどはないのですが、現状の私のコード例を以下に示しておきます。

該当のソースコード

from sklearn.neighbors import KNeighborsClassifier
import numpy as np

model = KNeighborsClassifier(n_neighbors=3)

train1 = np.random.randn(1000, 2) + np.array([1, 1]) # label: 0
train2 = np.random.randn(1000, 2) + np.array([-1, -1]) # label: 1

train = np.vstack((train1, train2)) # 2次元平面上の点のデータセット
labels = [0 if i < 1000 else 1 for i in range(2000)] # ラベルデータ

model.fit(train, labels)

"""
ここにmodelを使った推論など
"""

train3 = np.random.randn(1000, 2) + np.array([1, -1]) # label: 2

new_train = np.vstack((train1, train2, train3)) # 教師データ追加
new_labels = labels + [2 for i in range(1000)] # 教師データ追加

model.fit(new_train, new_labels) # ここでまたtrain1とtrain2についてもfitされるので冗長？

Answer 1

もうすでにfitされたモデルに対し、追加の教師データに関して効率よくfitする方法はあるのでしょうか。

SGDClassifier のように追加学習する機能があるクラスは partial_fit() という関数が用意されていますが、KNeighborsClassifier クラスにそのような機能はないので、追加学習する場合は、全データを fit() に与える必要があります。

計算コストを懸念されているのだと思いますが、k 近傍法のアルゴリズムは学習とは言っても与えたデータをそのまま保存しておくだけで (実装上は探索効率化のため、木構造で保持しますが)、SVM など他のアルゴリズムのように学習でなにか重たい処理が行われるわけではありません。
なので、その点は心配しなくてもいいと思います。

Comments

[tkymtmt]

なるほど、確かに保存するだけならそこまで計算コストは気にしなくても大丈夫そうですね。もうすこしknnの実装方法について勉強してみます！素早いご回答ありがとうございました！