機械学習scikit-learnのfitを使った複数回学習

Question

scikit-learnのfitを使って複数回学習させたいです。

例えば下記のようなCSVデータA、データB、データCがあるとします。

|名前|能力A|能力B|能力C|順位|
|:--|:--|:--:|--:||
|山田|10|5|3|1|
|佐藤|3|4|5|2|
|田中|4|2|0|3|

|名前|能力A|能力B|能力C|順位|
|:--|:--|:--:|--:|
|鈴木|0|9|7|2|
|伊藤|1|1|1|3|
|上田|8|10|9|1|

|名前|能力A|能力B|能力C|順位|
|:--|:--|:--:|--:|
|大野|1|3|2|3|
|加藤|0|6|0|2|
|後藤|2|7|8|1|

基本的には３つのデータをくっつけて１つのデータにしてから学習させてしまえば良いと思うのですが、
あえてA,B,Cを別に学習させたいです。
理由は、そうすることでそれぞれの相性などの相互作用を含めると考えたからです。
コードとしては下記のようなイメージ

for CSV in list
    clf.fit(CSV_x,CSV_y)

このような場合に学習は上書きされて最後のデータCだけが学習された状態になるのですか？
それともデータA、データB、データC全てが学習された状態になっているのですか？

また違う方法で相性などの相互作用を含めるようなモデル作りの方法がありましたらご教授お願いします．

Comments

[MasashiKimura]

名前のA,B,Cと、能力（？）のA,B,Cがダブっていて質問文がどれを指しているのかよくわからいように思います。

Answer 1

このような場合に学習は上書きされて最後のデータCだけが学習された状態になるのですか？
それともデータA、データB、データC全てが学習された状態になっているのですか？

全ての学習器を調べた訳ではないですが、反例はあります。
sklearn.svm.SVC(http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html)
に関して言えば、上書きされるようです。

まず、下記出力のsvm.dual_coef_ は学習で得られるモデルの一部ですが、二回目の学習(second fit)のあとに変化しています。

from sklearn.datasets import load_iris
from sklearn.utils import shuffle
from sklearn.svm import SVC

import sklearn
print(sklearn.__version__)

Iris = load_iris()
X, y = Iris.data, Iris.target
X, y = shuffle(X, y)

svm = SVC()
svm.fit(X[:75],y[:75])
print("first fit")
print(svm.dual_coef_)

print("second fit")
svm.fit(X[75:],y[75:])
print(svm.dual_coef_)

出力

first fit
[[ 0.          0.45406733  0.09983947 -0.55390681 -0.         -0.         -0.
  -0.         -0.         -0.         -0.         -0.         -0.         -0.
  -0.         -0.         -0.20090536 -0.         -0.         -0.        ]
 [ 0.02699682  0.17390854  0.          0.          1.          1.          1.
   1.          0.7014116   1.          1.          0.03784933 -1.         -1.
  -0.73502533 -1.         -1.         -1.         -0.0042356  -1.        ]]
second fit
[[ 0.21535273  0.4762168   0.         -0.         -0.         -0.         -0.
  -0.         -0.         -0.         -0.69156953 -0.         -0.15242906
  -0.         -0.         -0.         -0.         -0.        ]
 [ 0.          0.05350332  0.09892574  1.          1.          1.          1.
   0.28911857  0.875045    1.          0.         -1.         -1.
  -0.16416357 -1.         -1.         -1.         -1.        ]]

従って、二回目の学習によってモデルは何かしら変化するようです。

また,sklearn.svm.SVCではLIBSVM(https://www.csie.ntu.edu.tw/~cjlin/libsvm/)を内部で使用しています。
LIBSVMの学習は、データを入力とし、SVMのモデルを出力とするもので、前回学習したモデルは入力に含まれません。

実際、学習はlibsvm.fit()という関数でLIBSVMを呼び出して行っているので、この部分
https://github.com/scikit-learn/scikit-learn/blob/0.18.X/sklearn/svm/base.py#L246

self.support_, self.support_vectors_, self.n_support_, \
            self.dual_coef_, self.intercept_, self.probA_, \
            self.probB_, self.fit_status_ = libsvm.fit(
                X, y,
                svm_type=solver_type, sample_weight=sample_weight,
                class_weight=self.class_weight_, kernel=kernel, C=self.C,
                nu=self.nu, probability=self.probability, degree=self.degree,
                shrinking=self.shrinking, tol=self.tol,
                cache_size=self.cache_size, coef0=self.coef0,
                gamma=self._gamma, epsilon=self.epsilon,
                max_iter=self.max_iter, random_seed=random_seed)

でモデルを得るはずですが、X,yを除くこれらの引数はlibsvmに渡すSVMのパラメータであり、一回目の学習の結果(サポートベクトル、dual_coef_等)ではありません。
またコードの残りの部分においても、前回の学習結果を使用してX,yに手を加えるような部分はありませんでした。
https://github.com/scikit-learn/scikit-learn/blob/0.18.X/sklearn/svm/base.py#L111
https://github.com/scikit-learn/scikit-learn/blob/0.18.X/sklearn/svm/base.py#L222

よってsklearn.svm.SVCでは新たに学習をし直すと、前の学習結果にはなんら関係なく上書きされると思います。

Comments

[syakwti]

丁寧に詳しく説明していただいてありがとうございます。
分からないところがスッキリしましたありがとうございます。

Answer 2

複数回学習させる意図が分かりません。

交差検定がしたいという意図として受け取るのであれば、こちらを参考にされると良いです。