教師あり学習モデル（SVM）において全く同じ訓練データを用いて学習を行っても作製されるモデルに違いが出る？

Question

import numpy as np
import matplotlib.pyplot as plt
import mglearn
from sklearn.model_selection import train_test_split
from sklearn.svm import LinearSVC

X =  csv_titanic[["Age"],["Fare"]]
y = csv_titanic["Survived"]

X_train,X_test,y_train, y_test=train_test_split(X, y, stratify=y, random_state = 0 )

print(y_train.value_counts())
print(y_test.value_counts())
print(y.value_counts())


svm = LinearSVC().fit(X_train,y_train) 

X_array = np.array(X)

def plot_separator(model):
    mglearn.plots.plot_2d_separator(model,X_array)
    mglearn.discrete_scatter(X_array[:,0],X_array[:,1],y)
    plt.xlabel("Age") 
    plt.ylabel("Fare")
    plt.legend(["abc","alive"])
    plt.xlim([0,80])
    plt.ylim([0,300])
    plt.show()

svm_15 = LinearSVC(C=15).fit(X_train,y_train)
plot_separator(svm_15)

svm_100 = LinearSVC(C=100).fit(X_train,y_train)
plot_separator(svm_100)

上のようなコードでSVMを用いてモデルを作ったのですが、最後の4行だけを何度か実行すると実行するたびに異なるモデルが生成されます。（異なる分離直線が引かれます）

つまり、全く同じ訓練データを用いて同じアルゴリズムで学習させても、その時々で生成されるモデルに違いが出るということでしょうか？

よろしくおねがいします。

Comments

[technocore]

y = csv_titanic["Survived"]

X_train,X_test,Y_train, Y_test=train_test_split(X, Y, stratify=Y, random_state = 0 )

小文字のyに受け取って、大文字のYを指定しています。
そもそも、あなたのソースコード動いていないでしょう。

Answer 1

学習したモデルが変化するのは，学習時にランダムな要素が含まれているからだと思われます．

公式のdocument sklearn.svm.LinearSVCを見ると，random_stateと呼ばれるパラメータと，その説明があります．

random_stateint, RandomState instance or None, optional (default=None)

The seed of the pseudo random number generator to use when shuffling the data for the dual coordinate descent (if dual=True). When dual=False the underlying implementation of LinearSVC is not random and random_state has no effect on the results. If int, random_state is the seed used by the random number generator; If RandomState instance, random_state is the random number generator; If None, the random number generator is the RandomState instance used by np.random.

説明の一文目に，dual coordiante descent (Platによる最適化のアルゴリズム）のために，dataをshuffleしており，shuffleのために擬似乱数生成をしていることが書いてあります．

つまり，学習データが毎回異なる順番になるため，学習したモデルは異なる挙動をするということです．
もしも，毎回同じモデルを生成したい場合，LinearSVCの引数にrandom_state=0(0ではなく適当な数字でいい) と指定することで実現できると思います．

SVMの詳しいアルゴリズムについては以下の文献や書籍が詳しく書かれていて良いと思います！
（下の機械学習のエッセンスは，一般的な機械学習手法のアルゴリズムから実装までが，丁寧に書かれているので，非常におすすめです．上は英語に抵抗がなければ良いと思います．）

• Support Vector Machines, CS229 Lecture notes, Andrew Ng
• 機械学習のエッセンス

Comments

[1mzmk]

ご回答ありがとうございます。
ただそうしますと、同じ学習データを用いても、コンピューターが学習していくデータの順番によってモデルに差がでてくるということですかね？

[tanimutomo]

そうですね！
順番をこちらで指定してしまえば，同じになるはずです（順番の決め方を指定するパラメータが`random_state`です）

[1mzmk]

そうなんでね。ありがとうございます。
全く同じデータを用いて学習してもモデルに差が出るのは少し不思議な感じです。

最後に一つだけ質問させて下さい。
実際のビジネスの場面で分類を行うモデルを作ろうと思った際にはアルゴリズムにrandom_stateを指定せずにいろいろな場合のモデルを見てみるということは行われてるんでしょうか？

よろしくお願いします。

[tanimutomo]

乱数によってモデルの性能に大きく影響が出ることはほとんどないので，個人的にはrandom_stateはほとんど気にしなくても良いので，何も指定しなくていいと思っています．
（乱数によってモデルの性能が変わってしまうような方法は，あまり良いアルゴリズムとは言えないので，sklearnにあるような代表的な手法を利用する際にはほとんど気にしなくて良いと思います．）

random_stateを指定した方がいいのは，実験の再現性を担保したい時だと思います．（論文や技術書の執筆などで再現性が求められる場合など）

ビジネスでPoCを回している段階等であれば，データの前処理 (これが一番) や，機械学習モデルの選定，等に時間を割くのが望ましいかと思います．

[1mzmk]

なるほど、わかりました。
ご丁寧に説明していただきありがとうございます。本当に助かりました。
ありがとうございました。