サポートベクターマシンで作成したモデルを再利用すると結果が変わってしまう。

Question

サポートベクターマシンで学習済のモデルを、再利用すると、結果が異なってしまいます
（[0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 ]などの２値結果です）。

データは同じなのですが、なぜでしょうか？
以下、ＰＧＭの全文です。結果（２値）も掲示しました。

ご指導頂ければ助かります。

－－－－
①学習→学習済モデルを保存→ロード→未知データで結果確認
（ロジスティック回帰分析→サポートベクターマシンの順番で処理しています。）
－－－－

import pandas as pd
 
# エクセルの入力ファイル名、シート名を指定
df_X = pd.read_excel('target+notarget.xlsx',sheet_name='説明変数')
df_Y = pd.read_excel('target+notarget.xlsx',sheet_name='目的変数')

# 読み込んだデータを表示する
df_X.head()

# 条件のデータを表示する
df_Y.head()

#訓練データと評価用データに分割
from sklearn.model_selection import train_test_split as split
x_train, x_test, y_train, y_test = split(df_X,df_Y,train_size=0.8,test_size=0.2)

#教師あり学習の実行(ロジスティック回帰)
from sklearn.linear_model import LogisticRegression
model= LogisticRegression()
model.fit(x_train,y_train)

# 評価と精度の計算
from sklearn import metrics
 
#評価の実行
y_pred = model.predict(x_test)
 
# 精度の計算
print(metrics.accuracy_score(y_test,y_pred))

#　ここから、ＳＶＭ

# scikit-learn ライブラリの読み込み
from sklearn import datasets

# 学習器の作成。SVMというアルゴリズムを選択
from sklearn import svm
clf = svm.SVC()

# 訓練データとラベルで学習
clf.fit(x_train, y_train)

# テストデータで試した正解率を返す　　
accuracy = clf.score(x_test, y_test)
print(f"正解率⇒　{accuracy}")

正解率⇒　0.825
classification report
              precision    recall  f1-score   support

           0       0.00      0.00      0.00         7
           1       0.82      1.00      0.90        33

    accuracy                           0.82        40
   macro avg       0.41      0.50      0.45        40
weighted avg       0.68      0.82      0.75        40

# 学習済モデルを使ってテストデータを分類した結果を返す
predicted = clf.predict(x_test)

# 詳しいレポート
# precision(適合率): 選択した正解/選択した集合
# recall(再現率) : 選択した正解/全体の正解
# F-score(F値) : 適合率と再現率はトレードオフの関係にあるため
print("classification report")
print(metrics.classification_report(y_test, predicted))

# モデルを保存する
import pickle

filename = 'ERP(SVM).sav'
pickle.dump(model, open(filename, 'wb'))

# 保存したモデルをロードする
loaded_model = pickle.load(open(filename, 'rb'))

# 未知データを学習済モデル（ＳＶＭ）で分類

import numpy as np
df1 = pd.read_excel('target+notarget_未知.xlsx',sheetname='説明変数')# 未知データのエクセル読み込み
X_pred = np.array(df1)
y_pred = clf.predict(X_pred)# 学習済モデル(SVM)を使って分類（0、1）
print(X_pred,y_pred)

C:\python\anaconda\pgm\lib\site-packages\pandas\util\_decorators.py:188: FutureWarning: The `sheetname` keyword is deprecated, use `sheet_name` instead
  return func(*args, **kwargs)
[[ 10.07129     11.51457     11.76082    ...  -8.489728    -8.04093
   -7.381762  ]
 [ -1.14947      0.02524982   1.102695   ... -10.32178    -13.35207
  -14.82256   ]
 [  2.846096     3.02329      2.520598   ...   3.910414     6.817744
    8.904238  ]
 ...
 [  0.4724252   -1.992815    -3.942807   ...   0.5846236    0.8689489
    0.7559054 ]
 [  3.245025     3.993944     4.170406   ...  -3.836895    -6.829057
   -9.500171  ]
 [  3.627492     4.49755      4.667884   ... -11.4468     -10.76785
   -9.549679  ]] [0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 1 0 0 1 0 0 0 1 0 0
 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]

－－－－
②学習済モデルを再利用（読み込み）して、同じ未知データで結果確認
－－－－

#　学習済モデル（ＳＶＭ）のロード（読み込み）（モデルはすでに保存済）
with open('ERP(SVM).sav', mode='rb') as fp:
    clf = pickle.load(fp)

import numpy as np
import pandas as pd

#　未知データの読み込み
df1 = pd.read_excel('target+notarget_未知.xlsx',sheet_name='説明変数')
x_test_michi = np.array(df1)

#　未知データをロードした学習済モデルで予測
y_test_michi = clf.predict(x_test_michi)

print(x_test_michi,y_test_michi)

[[ 10.07129     11.51457     11.76082    ...  -8.489728    -8.04093
   -7.381762  ]
 [ -1.14947      0.02524982   1.102695   ... -10.32178    -13.35207
  -14.82256   ]
 [  2.846096     3.02329      2.520598   ...   3.910414     6.817744
    8.904238  ]
 ...
 [  0.4724252   -1.992815    -3.942807   ...   0.5846236    0.8689489
    0.7559054 ]
 [  3.245025     3.993944     4.170406   ...  -3.836895    -6.829057
   -9.500171  ]
 [  3.627492     4.49755      4.667884   ... -11.4468     -10.76785
   -9.549679  ]] [0 0 1 0 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 1 1 0 0 0 0 1 1 1 0 0 0 0 0 1 1 1 0
 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 0
 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1
 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0]

コード

Comments

[t_obara]

よくわかりませんが、print(X_pred,y_pred)の結果とprint(x_test_michi,y_test_michi)の結果が異なっているのが問題なのですか？

[python_2019]

ご指導ありがとうございます。
はい、ご指摘の通りです。
同じモデルを使用して、同じデータを解析したのに、両方の結果が異なってしまうのです。
もし、原因をお教え頂ければ助かります。

よろしくお願いいたします。

[t_obara]

提示されている情報がよく理解できませんが、
入力であるX_predとx_test_michiが異なっている（ように見える）ので、同じモデルでも出てくる結果が異なるのでは？

[python_2019]

ご連絡ありがとうございます。
今、X_predとx_test_michiを同じにしてみたのですが、やはり異なる結果になってしまいます...。

[Kapustin]

これはソースコード全文ですか？
◆学習→学習済モデルを保存→ロード→未知データで結果確認 の方の
y_pred = clf.predict(X_pred)# 学習済モデル(SVM)を使って分類（0、1）
で出てくる clf はこの段階では定義されていないかと思います。

また、コードを記載する時は ``` コード内容 ``` と書くと読みやすくなります。（<code> コードの挿入を押すと出てきます）

[python_2019]

ご指導ありがとうございます。

<code＞の挿入方法があるのを知りませんでした。
確かに読みやすくなりますね。

ソースコードは全文ではありません。
clfの定義は、前の方の行で以下のように記述しています。
もしかしたら、このclfの使い方で、異なる結果になってしまうのでしょうか？

理解不足で申し訳ありません。
よろしく願いします。

－－－
# scikit-learn ライブラリの読み込み
from sklearn import datasets

from sklearn import svm
clf = svm.SVC()

[Kapustin]

「ロード→未知データで結果確認」
という部分の流れが上記のソースコードだけでは確認できませんでした。
質問内容は編集できるので、見やすいよう整理しながらできれば該当箇所の全てを掲載してください。
何かしらの事情で掲載できなければ、「学習済モデルを再利用（読み込み）して、同じ未知データで結果確認」だけを何度か試し、結果が常に同じなっているか確認してみてください。
・結果が全て一致 > 学習→学習済モデルを保存→　「ロード→未知データで結果確認」 の部分に問題がありそうです
・結果が違う > モデルのロード方法やライブラリの使用方法が違う可能性があります。
SVMは学習後の結果は基本的には変わらないはずなので。。

[nandymak]

他の方の指摘通り全コードをMarkdown形式で提示してください。
clf.fit(x,y)の部分も見てみたいです。

[python_2019]

ご連絡ありがとうございます。
ご指摘のとおり、コードの全文を開示いたしました。

①学習→学習済モデルを保存→ロード→未知データで結果確認

　ここでは、先にロジスティック回帰分析を実施して、それからサポートベクターマシンを実施しています。もしかしたら、このロジスティック回帰分析を先に実行していることが、サポートベクターマシンのモデル保存処理に影響しているのでしょうか？

　引き続き、ご指導いただければ、大変助かります。
　よろしくお願いいたします。

[t_obara]

保存しているのはロジスティック回帰モデルのようです。SVMは毎回作り直しなので、保存するならclfの方では？

[python_2019]

ご指導ありがとうございます。
clfにすると、結果の値が同じになりました。

どうもありがとうございました。
助かりました。

Answer 1

#教師あり学習の実行(ロジスティック回帰)
from sklearn.linear_model import LogisticRegression
model= LogisticRegression()
model.fit(x_train,y_train)

(省略) 

# モデルを保存する
import pickle

filename = 'ERP(SVM).sav'
pickle.dump(model, open(filename, 'wb'))

#　学習済モデル（ＳＶＭ）のロード（読み込み）（モデルはすでに保存済）
with open('ERP(SVM).sav', mode='rb') as fp:
    clf = pickle.load(fp)

ERP(SVM).savに保存された学習済みモデルはLogisticRegression()ですね。
「clf = svm.SVC()」を保存しましょう。

# モデルを保存する
import pickle

filename = 'ERP(SVM).sav'
pickle.dump(clf, open(filename, 'wb'))

Answer 2

上のコードは、modelを保存して、別に訓練したclfを表示。
下のコードは、clfに読み込んで表示。
つまり、別のものを比べているように見えます。

Comments

[python_2019]

ご指摘ありがとうございます。
clfにすると、上手く行きました。
ありがとうございました。