質問編集履歴

係数からグラフを作成する方法の追加

2021/04/21 09:09

投稿

unser

スコア58

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -142,6 +142,22 @@
 # visualize model
+# visualize model
+def model_conf(model,x):
+  y=[model.intercept_ for _ in range(len(x))]
+  for j in range(len(x)):
+    for i in range(len(model.coef_)):
+      y[j]+=model.coef_[i]*((x[j][0])**(i+1))
+  return y
 plt.figure(figsize=(10, 7))
@@ -172,6 +188,8 @@
 plt.plot(X_plt, y_pred2, color='black', linestyle='--', label='Line Ridge(α={})'.format(k_1), lw=3)
+#plt.plot(X_plt, model_conf(model3,X_plt), color='purple', linestyle="dashdot", label='Polynomial regression(20)', lw=5)
 plt.plot(X_plt, y_pred3, color='green', linestyle="dashdot", label='Polynomial regression(20)', lw=3)
 plt.plot(X_plt, y_pred4, color='pink', linestyle='-', label='Poly Ridge(α={})'.format(k_1), lw=3)

ridge項の追加方法

2021/04/21 09:09

投稿

unser

スコア58

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,10 +1,6 @@
 Pythonにて,Ridge回帰などを行い,その損失関数(MSE)の値を算出したいのですが,
-その見方の方法がわからないためご教授していただけると幸いです
+その見方の方法がわからないためご教授していただけると幸いです.
-(実装は直に損失関数を計算しましたが,Ridgeに関しては方法がわからなかったため,
- ひとまず,ridgeの項をゼロとしました).
@@ -196,12 +192,14 @@
 ```python
-#損失関数(仮)を算出する.
+#損失関数を算出する.(修正 4/21, 17:29)
 ans_lst=[]
 for i in range(5):
+  ans=0
   if i==0:
     #score=cross_val_score(model1,x,y,cv=10)
@@ -210,20 +208,22 @@
   elif i==1:
-    # 本当はRidgeの項を入れたいが係数がわからない...
+    model2.coef_
     ans=statistics.mean(list(map(lambda t: t**2, (y-model2.predict(x)).tolist())))
+    ans+=sum(list(map(lambda t: t**2, model2.coef_)))
   elif i==2:
     ans=statistics.mean(list(map(lambda t: t**2, (y-model3.predict(x_20)).tolist())))
   elif i==3:
-    # 本当はRidgeの項を入れたいが係数がわからない...
     ans=statistics.mean(list(map(lambda t: t**2, (y-model4.predict(x_20)).tolist())))
+    ans+=sum(list(map(lambda t: t**2, model4.coef_)))
   else:
     #試しに真の分布のもののエラー関数を見てみる.
@@ -240,7 +240,21 @@
 """
+[878.1943851888309,
+ 6835.932288142904,
+ 165.22430413762072,
+ 1480.3156315725134,
+ 660.6537337438299]
+"""
+```
-ans_lst=[878.1943851888309,
+~~ans_lst=[878.1943851888309,
  6829.205481962394,
@@ -248,112 +262,110 @@
  1472.468473432889,
- 660.6537337438299]
+ 660.6537337438299]~~ <- ridge項を入れる前.
+こちら,最後をみると明らかに過学習しているmodel3が
+最も損失関数が低いため良いモデルとなってしまいました.
+そのため,k-交差検証を用いて,それぞれのモデルを評価して,
+その値が小さいモデルを判断します.
+```python
+# generate models
+models=[]
+k_1=500
+# degree=1
+models.append(LinearRegression())
+models.append(Ridge(alpha=k_1))
+k_20=500
+# degree = 20
+models.append(LinearRegression())
+models.append(Ridge(alpha=k_20))
+base_x_20=PolynomialFeatures(degree=20,include_bias=False)
+x_20=base_x_20.fit_transform(x)
+# generate models
+models=[]
+# degree=1
+k_1=500
+models.append(LinearRegression())
+models.append(Ridge(alpha=k_1))
+# degree = 20
+k_20=500
+models.append(LinearRegression())
+models.append(Ridge(alpha=k_20))
+base_x_20=PolynomialFeatures(degree=20,include_bias=False)
+x_20=base_x_20.fit_transform(x)
+# evaluate model
+scores=[]
+for i in range(4):
+  if i < 2 :
+    scores.append(-np.mean(cross_val_score(models[i],x,y,scoring='neg_mean_squared_error',cv=10)))
+  else:
+    scores.append(-np.mean(cross_val_score(models[i],x_20,y,scoring='neg_mean_squared_error',cv=10)))
+# 本当はridgeの部分はそれを含めたscoreを算出したいです.
 """
+scores=[1050.7385117716492, 7591.142086205172, 5966152468.751239, 2145.3345481477745]
+"""
 ```
-こちら,最後をみると明らかに過学習しているmodel3が
-最も損失関数が低いため良いモデルとなってしまいました.
-そのため,k-交差検証を用いて,それぞれのモデルを評価して,
-その値が小さいモデルを判断します.
-```python
-# generate models
-models=[]
-k_1=500
-# degree=1
-models.append(LinearRegression())
-models.append(Ridge(alpha=k_1))
-k_20=500
-# degree = 20
-models.append(LinearRegression())
-models.append(Ridge(alpha=k_20))
-base_x_20=PolynomialFeatures(degree=20,include_bias=False)
-x_20=base_x_20.fit_transform(x)
-# generate models
-models=[]
-# degree=1
-k_1=500
-models.append(LinearRegression())
-models.append(Ridge(alpha=k_1))
-# degree = 20
-k_20=500
-models.append(LinearRegression())
-models.append(Ridge(alpha=k_20))
-base_x_20=PolynomialFeatures(degree=20,include_bias=False)
-x_20=base_x_20.fit_transform(x)
-# evaluate model
-scores=[]
-for i in range(4):
-  if i < 2 :
-    scores.append(-np.mean(cross_val_score(models[i],x,y,scoring='neg_mean_squared_error',cv=10)))
-  else:
-    scores.append(-np.mean(cross_val_score(models[i],x_20,y,scoring='neg_mean_squared_error',cv=10)))
-# 本当はridgeの部分はそれを含めたscoreを算出したいです.
-"""
-scores=[1050.7385117716492, 7591.142086205172, 5966152468.751239, 2145.3345481477745]
-"""
-```
 この場合,models[0]を用いると良いとなりますが,結局最初のモデルを用いて
 全てを訓練データとして得られたものを係数として答えを出せば良いでしょうか?