Scikit learn の mean_square_error について

Question

scikit learn の mean_square_error について理解があまりなっていないので質問します
僕が勘違いしているだけだと思うのでご指摘お願いします

例えば多項式回帰についてデータを分割した後に,

poly_reg = PolynomialFeatures(degree=2)
poly_x = poly_reg.fit_transform(x_train)

clf.fit(poly_x, y_train)

plt.scatter(x_train, y_train)
plt.plot(x_train, clf.predict(poly_x))

訓練データでモデルを作成するまではいいのですが
平均二乗誤差をテストデータから求める際,

poly_x_test = poly_reg.fit_transform(x_test)
#MSE
predictive_y = clf.predict(poly_x_test)
mse = mean_squared_error(y_test, predictive_y)
print('MSE=', mse)

こうして平均二乗誤差を求めるとテストデータで作ったモデルからその予測値とテストデータの誤差を求めているだけのような気がするのですが、これは正しいのでしょうか
僕の理解だと平均二乗誤差は訓練データの予測値とテストデータの誤差を求めるものだと思っていたので、混乱しています

質問が分かりにくくなってしまいましたが、交差検証と平均二乗誤差を算出するこのやり方が正しいのか、（間違っていたら指摘お願いします）
合っているなら、多分scikit learn の動きか平均二乗誤差の意義をを勘違いしてると思うので、解説お願いしたいです

よろしくお願いします

Answer 1

まず最初に、それはホールドアウト検証なので交差検証ではありません。

poly_x_test = poly_reg.fit_transform(x_test)
predictive_y = clf.predict(poly_x_test)

> こうして平均二乗誤差を求めるとテストデータで作ったモデルからその予測値とテストデータの誤差を求めているだけのような気がするのですが、これは正しいのでしょうか

PolynomialFeaturesの動きに誤解があるんじゃないですかね。これのfit_transformはfit_transformとは名ばかりの、入力を0,1,2,...,n乗したベクトルに変換するだけの代物です。fitしようがしまいが関係ありません。poly_regという変数名は極めて不適切と言えます。

参考：
[sklearn.preprocessing.PolynomialFeatures — scikit-learn 0.19.1 documentation](http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html)

とりあえず挙動としてはただのtransformですから、そう思っておきましょう。

そうすると実際に回帰しているのはclf（これも不適切な変数名な気が・・・regとかにしません？）だけです。それを踏まえた上で、

正しくは「訓練データで作ったモデルでX_testからyを予測し、予測されたyと正しいy（y_test）で評価指標を計算」ですね。ですから、示されているコードは（変数名とかコードの綺麗さはともかく）やっていることは正しいと言えます。