繰り返し処理のやり方（回帰で同じ特徴量の元で、複数の従属変数への回帰→誤差表示をしたい）

Question

現在以下のようなコードがあります。
解決したい点は、以下のy0～y6といった6つの従属変数ベクトルに対する回帰分析結果（平均二乗誤差）を一度に繰り返し処理により計算するプログラムを作りたいというものです。あまり一つの回帰モデルで、複数の従属変数になり得る数値があるケースは少ないと思いますが、本件ではそのようなケースとなっています。

まず準備プロセスです。念のために掲載します。

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import PolynomialFeatures

data=pd.read_excel('元データ.xlsx')
data=data.drop([0,1]).reset_index(drop=True)
data['date']=pd.to_datetime(data['date'],format='%Y年%m月')
data['POSIX']=data['date'].astype('int64').values//10**9
data['year']=data['date'].dt.year
data['month']=data['date'].dt.month
#上記の数行は、データを取得してからデータを簡単に整形しているのみです。

x=data.iloc[:38,[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,32]]　#特徴量は23個
y0=data.iloc[:38,[23]] #0-43
y1=data.iloc[:38,[24]]#0-42
y2=data.iloc[:38,[25]]#0-41
y3=data.iloc[:38,[26]]#0-40
y4=data.iloc[:38,[27]]#0-39
y5=data.iloc[:38,[28]]#0-38
y6=data.iloc[:38,[29]]#0-37

上記は準備プロセスです。ここから実際の計算が始まります。
問題は以下の実際の回帰の計算です。現状は以下の「y0」となっているものを、毎回「y1」に全て変えた上で誤差スコア計算し書き留める、
その後「y2」に全て変えた上で・・・との繰り返しです。一気にy0～y6までの7通りの従属変数による誤差スコアを一気に出す方法を考えているのですが、
どうも繰り返し構文を用いてもうまくいきません。詳しい方、助けていただけませんでしょうか？

x_pos=data['POSIX'].values
N=len(x)
N_train=round(len(x)*0.8)
N_test=N-N_train

x_pos_train,x_pos_test=x_pos[:N_train],x_pos[N_train:]
x_train,y0_train=x[:N_train],y0[:N_train]
x_test,y0_test=x[N_train:],y0[N_train:]

POLY=PolynomialFeatures(degree=2,include_bias=False)#13の特徴量を2次の多項式に変換
x_train_pol=POLY.fit_transform(x_train)
x_test_pol=POLY.transform(x_test)
sc=StandardScaler()#特徴料の標準化を行う
x_train_std=sc.fit_transform(x_train_pol)
x_test_std=sc.transform(x_test_pol)

model=LinearRegression()
model.fit(x_train_std,y0_train)

y_train_pred=model.predict(x_train_std)
y_test_pred=model.predict(x_test_std)
mean_squared_error(y0_train,y_train_pred),mean_squared_error(y0_test,y_test_pred)

Answer 1

y0~y6を使うならリストか配列で、と思いましたが今のソースコードを極力活用して、実際の計算部分を

for y in [y0, y1, y2, y3, y4, y5, y6]:
    x_pos = data["POSIX"].values
    N = len(x)
    ...

としてループを作ってy0の部分をyに変換すれば良いです。

[追記]
一気に、と言うのはループではなく、と言う事でしたらyを2次元配列にして良いと思います。気をつけるのはmean_squared_errorでしょうか。ループと同じ出力を得るには個別に計算する必要があります。

y = data.iloc[:38, 23:30]

N = len(x)
N_train = round(len(x) * 0.8)
N_test = N - N_train

x_train, y_train = x[:N_train], y[:N_train]
x_test, y_test = x[N_train:], y[N_train:]

POLY = PolynomialFeatures(degree=2, include_bias=False)
x_train_pol = POLY.fit_transform(x_train)
x_test_pol = POLY.transform(x_test)
sc = StandardScaler()  # 特徴料の標準化を行う
x_train_std = sc.fit_transform(x_train_pol)
x_test_std = sc.transform(x_test_pol)

model = LinearRegression()
model.fit(x_train_std, y_train)
y_train_pred = model.predict(x_train_std)
y_test_pred = model.predict(x_test_std)

for i in range(7):
    print(mean_squared_error(y_train.iloc[:, i], y_train_pred[:, i]))
    print(mean_squared_error(y_test.iloc[:, i], y_test_pred[:, i]))

Comments

[JMS]

ありがとうございます。こちら上のものを試してみたのですが、どうも動かないようなんです。実行しても実行自体は完了するのですが何もアウトプットがでないんです。下は今からやってみます！

<追伸＞
なぜか、最後を以下のように変えたらできました！ありがとうございます。
print(mean_squared_error(y_train,y_train_pred))
print(mean_squared_error(y_test,y_test_pred))

なお、ここで、mean_squared_errorを一旦なんらかの変数に格納して、後で一気に出力し、そこで最大値と最小値も計算したいと思い、以下のようなコードを書きました。ただ、「invalid character in identifier」というエラーが出てしまいました。こちら、もしよろしければ連続質問で本当に申し訳ないのですが、アドバイスいただけますと幸いです。

※以下、前回投稿コードの「y_test_pred=model.predict(x_test_std)」以下の部分です。

msetrain[y]=mean_squared_error(y_train,y_train_pred)
msetest[y]=mean_squared_error(y_test,y_test_pred)

else:
for y in msetrain:
print(msetrain[y],msetest[y])
print(max（msetrain[y]),max(msetest[y]))