make_scorer()でRidgeのscoringを用意する方法

Question

https://teratail.com/questions/334435

こちらの質問に類する質問です.
現在回帰問題をRidgeで解こうと考えています.
その際にk-CrossVaridationを用いてモデルを評価したいのですが,通常MSEの評価で十分だと思います.
しかし,仮に罰則項を加えた評価をする場合,罰則項を含めたscoringの実装は
(https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter)
自分で用意する必要があります.

つまり,その度にCVのタームごとに罰則項も足すことになります.

そこで,自分でscore関数を用意するmake_scorer()(https://scikit-learn.org/stable/modules/generated/sklearn.metrics.make_scorer.html)を用いてRidgeの式の評価関数を実装したいと考えています.

しかし,具体的にどのように実装すれば良いかわからないため,ご教授していただけると幸いです.

# import library
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.preprocessing import PolynomialFeatures

from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error
import statistics

# generate a true function
def func(x):
  return 100*x+10*x**3+0.001*x**15

# generate sample datas {(y,x)}_30
np.random.seed(0)
x = np.random.rand(30) * 2
noise = (np.random.rand(30) -0.5)* 100
true_y = func(x)
y = true_y + noise

# visualize true function and sample data
plt.scatter(x,y)
xx=np.arange(0,2,0.01)
yy = func(xx)
plt.plot(xx, yy)

x=x.reshape(-1,1)
# generate models
models=[]

# degree=1
k_1=500
models.append(LinearRegression())
models.append(Ridge(alpha=k_1))

# degree = 20
k_20=500
models.append(LinearRegression())
models.append(Ridge(alpha=k_20))
base_x_20=PolynomialFeatures(degree=20,include_bias=False)
x_20=base_x_20.fit_transform(x)

## MSEによる評価
scores=[]
for i in range(4):
  if i < 2 :
    scores.append(-np.mean(cross_val_score(models[i],x,y,scoring='neg_mean_squared_error',cv=2)))
  else:
    scores.append(-np.mean(cross_val_score(models[i],x_20,y,scoring='neg_mean_squared_error',cv=2)))

# scores=[998.8563668508611, 7219.762790532995, 892499000007.7985, 3360.0200907347216]

ここからがmake_scorer()を用いた部分です.(Errorとなりましたが)

from sklearn.metrics import make_scorer

def score_ridge(y_true,y_pred,x_train,model_ridge):
  """
  y_true: 真の分布から発生したサンプル
  x_train: それに対応するx

  y_pred: modelによって予測されるy
  x_train: それに対応するx

  model_ridge: 使用するモデル

  今回,coefを呼び出す必要があるため,xやmodel_ridgeを引数に用意しました...
  (しかし,これがエラー要因な気がします)
  """
  ans=mean_squared_error(y_true, y_pred)
  t=model_ridge.fit(x_train,y_true)
  para=t.coef_
  for i in para:
    ans+=models.get_params()*i**2
  return ans

scores=[]
score_func={
    'ridge': make_scorer(score_ridge)
}
scores=[]
score_func={
    'ridge': make_scorer(score_ridge)
}
for i in range(4):
  if i == 1 :
    scores.append(-np.mean(cross_val_score(models[i],x,y,scoring=score_func,cv=10)['test_ridge']))
  elif i==3:
    scores.append(-np.mean(cross_val_score(models[i],x_20,y,scoring=score_func,cv=10)['test_ridge']))

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-25-5edaa5795037> in <module>()
      7     scores.append(-np.mean(cross_val_score(models[i],x,y,scoring=score_func,cv=10)['test_ridge']))
      8   else:
----> 9     scores.append(-np.mean(cross_val_score(models[i],x_20,y,scoring=score_func,cv=10)['test_ridge']))
     10     ## I should change scoring

1 frames
/usr/local/lib/python3.7/dist-packages/sklearn/metrics/_scorer.py in check_scoring(estimator, scoring, allow_none)
    428         raise ValueError("For evaluating multiple scores, use "
    429                          "sklearn.model_selection.cross_validate instead. "
--> 430                          "{0} was passed.".format(scoring))
    431     else:
    432         raise ValueError("scoring value should either be a callable, string or"

ValueError: For evaluating multiple scores, use sklearn.model_selection.cross_validate instead. {'ridge': make_scorer(score_ridge)} was passed.

どのように改善すれば良いか,教えていただけると幸いです.

Answer 1

「Ridgeの式の評価関数」というのがわかりません。
前の質問に回答された方もおっしゃっていますが、目的関数と評価指標は独立に選べます。
作成したモデルを二乗和平均で評価したいなら、2つ目のコードのままで大丈夫です。（実際にscoresが算出されてますし）

Comments

[unser]

ありがとうございます.
理論を勘違いしてしまっていました????‍♂️

また,理論とはずれますが,もしかりにこれを実装するとしたら.どのような実装方法をすれば良いか教えていただけると幸いです.

[退会済みユーザー]

cross val score のscoringに辞書型を渡しているのは何故ですか？
make_scoringという関数を僕も使ったことがないので、調べてみたんですが、辞書にしなくて良いと思います。

参考サイト
https://qiita.com/y_kani/items/011b65a09e480322ac98