主成分回帰、PLS回帰のモデル保存/呼び出しについて

Question

現在X線回析やNMRのような連続値を持つ多次元のスペクトルデータの解析を主成分分析等を用いて行っています。

[やりたいこと]
42次元のスペクトルデータと物性Aの間の関係性を機械学習し、新規データに対して予測値を得たい。
[困っていること]
下記コードのように主成分回帰後のモデルをpicleで保存/呼び出しして新たなデータ(newdata.csv)に対してpredictしたが、
新規データは次元圧縮していないので以下のエラーが出る。

ValueError: matmul: Input operand 1 has a mismatch in its core dimension 0, with gufunc signature (n?,k),(k,m?)->(n?,m?) (size 6 is different from 42)

[知りたいこと]
1.主成分回帰やPLS回帰後のモデル保存はpicleで可能なのか？他の方法があるのか？
2.新規データの次元圧縮はどのように行うべきか？

import pandas as pd
import numpy as np
import os
import glob
from pathlib import Path
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.decomposition import PCA
import random
import pickle

np.random.seed(1)
random.seed(1)

#csvファイル取得
program_dir   = Path(__file__).parent.resolve()
totaldata_dir = program_dir / 'Trainingdata.csv'
totaldata     = pd.read_csv(totaldata_dir, index_col=0, encoding='utf-8')

#データ前処理
X_ = totaldata.drop('A', axis=1)
y_ = pd.DataFrame(totaldata['A'], columns=['A'])

X_std = StandardScaler().fit_transform(X_)
X_std = pd.DataFrame(X_std, columns=X_.columns)

n_train_rate = 0.7
train_X_data, test_X_data, train_y_data, test_y_data = train_test_split(X_std, y_, test_size=1-n_train_rate)

#PCA
pca = PCA(n_components=6)
X_train_pca = pca.fit_transform(train_X_data)
X_test_pca  = pca.transform(test_X_data)

#LinearRegression
linear_model = LinearRegression()
linear_model.fit(X_train_pca, train_y_data)

#モデル保存
filename = 'predict_model.sav'
pickle.dump(linear_model, open(filename, 'wb'))

#モデル呼び出し
modelname = 'predict_model.sav'
predictedmodel = pickle.load(open(modelname, 'rb'))

#新規csvデータ読み込み(＊新規csvデータには物性Aの列は存在しない)
newdata_dir = program_dir / 'newdata.csv'
newdata_X   = pd.read_csv(newdata_dir, index_col=0, encoding='utf-8')

#予測値出力
print('Predict value:', predictedmodel.predict(newdata_X))

Answer 1

scikit-learnで次元削減→予測など、複数モデルの結果を組み合わせて使いたい場合はPipelineを使ってください。

sklearn.pipeline.Pipeline — scikit-learn 0.24.1 documentation

# 追加しとく
from sklearn.pipeline import make_pipeline

# ...

#データ前処理
X_ = totaldata.drop('A', axis=1)
y_ = pd.DataFrame(totaldata['A'], columns=['A'])

n_train_rate = 0.7
train_X_data, test_X_data, train_y_data, test_y_data = train_test_split(X_std, y_, test_size=1-n_train_rate)

# モデル作る
scaler = StandardScaler()
pca = PCA(n_components=6)
linear_model = LinearRegression()
model = make_pipeline(scaler, pca, linear_model)

# 学習
model.fit(train_X_data, train_y_data)

#モデル保存
filename = 'predict_model.sav'
pickle.dump(model, open(filename, 'wb'))

といった感じでやります。

Comments

[sssan]

ご回答頂きありがとうございます。
複数の処理、モデル使用時にはPipelineを使用することを知りませんでした。助かります。

この保存したモデルを新規データセットに対して使用したい場合、
新規データの次元圧縮はどのように行うべきでしょうか？
モデル作成時の教師データでPCAを行った時と新規データのみにPCAしたときでローディングが変わってくる気がします。
お手数をおかけしますがよろしくお願い致します。

[hayataka2049]

やることは、「保存したモデルを読み込んでから、新規データセットを次元圧縮せずにモデルに投入」、です。
中でなにやっているのか説明しておくと、まあたとえばPCAで前処理したのであれば
学習の際に写像（行列）がモデル内部で保持されており、
予測の際はそれに従って変換する、
という挙動です。
もう少し一般化して言うと、前処理用の（一番最後のモデル以外の）モデルは、学習時はfit_transformしてて、予測時はtransformになる訳です。最終段は学習時がfitで予測時がpredictですね。

[sssan]

ご回答頂きありがとうございます。
説明非常にわかりやすく、参考になりました。
コードも無事実行できました。
ありがとうございました。