機械学習のSGDのPythonでの実装コードがうまくいかない

下記添付の画像の問題を解くためにPythonを使用して
実装を試みていますが問題の解答欄に沿ったような出力が与えられません。
コードのどこかが間違っているのは間違いないのでしょうが現状検討がつかないので
ご教示頂ければと思います。

実装コード↓※google colaboratoryで実装可能です

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets

diabetes = datasets.load_diabetes()

df = pd.DataFrame(diabetes.data, columns=diabetes.feature_names)

#説明変数
x = pd.Series(
    [-1.0,0,2.0]
)
x.head()
#目的変数
y = pd.Series(
    [0,0.5,1.5]
)
y.head()


plt.scatter(x, y)

class StochasticGradientDescent:
  def __init__(self, eta=0.1, n_iter=10, sample_rate=0.1):
    self.eta = eta
    self.n_iter = n_iter
    self.sample_rate = sample_rate
    self.grad = np.zeros((2,))
    self.loss = np.array([])

    self.v = np.zeros((2,))

  def fit(self, X, Y, w0):
    self.w = w0
    self.min_w = w0
    n_samples = int(np.ceil(len(X)*self.sample_rate))
    min_loss = 10**18

    for _ in range(self.n_iter):
      loss = 0.5 * np.sum((Y-(self.w[1]*X + self.w[0]))**2)
      if min_loss>loss:
        min_loss = loss
        self.min_w = self.w
      self.loss = np.append(self.loss, loss)
      for i in range(len(X)):
        index = i
        batch_x = X[index]
        batch_y = Y[index]
        self.grad[0] = np.sum(self.w[0]+self.w[1]*batch_x-batch_y)
        self.grad[1] = np.sum(self.w[1]*batch_x**2+self.w[0]*batch_x-batch_x*batch_y)

        self.w -= self.eta * self.grad

        print("self.w",self.w)
        print("更新量",self.eta * self.grad)

  def predict(self, x):
    return (self.w[0] + self.w[1]*x)

  @property
  def coef_(self):
    return self.min_w[1]

  @property
  def intercept_(self):
    return self.min_w[0]

  @property
  def loss_(self):
    return self.loss


w0 = np.array([0.0,1.0])


model = StochasticGradientDescent()
model.fit(x, y, w0)

print("A: ", model.coef_)
print("B: ", model.intercept_)

loss = model.loss
plt.plot(np.arange(len(loss)), np.log10(loss))

plt.show()

kenkusaba1014

2021/09/24 06:37

ご教示頂きありがとうございます。この問題の続きで、 ----- 【問題文】「モメンタムありの確率的勾配降下法でパラメータを更新すると、二回目のパラメータの更新量はa,bそれぞれいくらになるか。但し、『慣性項のパラメータα＝0.9』『二回目の訓練サンプルをx=0.0』とする。」【回答】 ①0.0、0.04 ②-0.09, 0.09 ③-0.09,0.05 ④-0.09,0.13 ----- という問題があります。テキストのどこにも慣性項を実装するコードが無く色々調べているところです。もしご存じであればお教え頂く事は可能でしょうか？

行動規範の内容に同意します

回答2件

ベストアンサー

この問題からなぜdiabetesデータセットを使ったのか、質問者様の意図がわかりません。
SGDの基本的な定義を理解しているかを確認するために、単純に代数的に解くのが問題意図ではないでしょうか？

すなわち、

aの更新量 = - η ✕ (∂L / ∂a)
bの更新量 = - η ✕ (∂L / ∂b)

に単純に、

(a, b) = (1.0, 0.0) * 初期値
η = 0.1
N = 1 ※ 訓練サンプルが1つ
(x1, y1) = (-1.0, 0.0) * 1つだけの訓練サンプル

を代入すれば、求める解答は、

(a, b) = (-0.1, 0.1) * 選択肢4

となります。

コードにしたければ、上記を愚直にコードにすればよく、訓練サンプル複数の場合への応用も容易です。

2021/09/23追記

コード例を示します。

Python
1(a, b) = (1.0, 0.0)
2lr = 0.1   # 学習率 learning rate
3(x, y) = (-1.0, 0.0)
4
5# 問題文における偏微分の定義で n = 1 とする
6dL_da = lambda a, b: a * x * x + b * x - x * y
7dL_db = lambda a, b: b + a * x - y
8
9# (a, b)を1回更新する更新量を(da, db)とする
10da = -lr * dL_da(a, b)
11db = -lr * dL_db(a, b)
12
13# 答えを表示
14print(da, db)