最小二乗線形回帰モデルのアルゴリズムで理解できない部分があります

Question

#前提・実現したいこと
表題のアルゴリズムの動きを簡単なデータで確認しています。
きちんと回帰計算ができているのでアルゴリズムに問題はないことはわかるのですが、アルゴリズムでよくわからない部分があるので教えて頂けるとありがたいです。

#該当のソースコード

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

class LinearRegressionGD(object):
    def __init__(self, eta = 0.001, n_iter = 10):
        self.eta = eta
        self.n_iter = n_iter
        
    def fit(self, X, y):
        self.w_ = np.zeros(1 + X.shape[1])
        self.cost_ = []
        for i in range(self.n_iter):

            output = self.net_input(X)
            errors = (y - output)

            self.w_[1:] += self.eta * X.T.dot(errors) 
            self.w_[0] += self.eta * errors.sum()
            cost = (errors**2).sum() / 2.0
            self.cost_.append(cost)
            print("output:", output)
            print("errors:",errors)
            print('-'*40)
        return self
    
    def net_input(self, X):
        return np.dot(X, self.w_[1:]) + self.w_[0]
    
    def predict(self, X):
        return self.net_input(X)
    
X =np.arange(1,11).reshape(-1 , 1)
y =np.array([1,3, 2, 5, 4, 7, 6, 8, 8, 10])

lr = LinearRegressionGD()
lr.fit(X, y)
a = np.array([1, 11])
b = a.reshape(-1, 1)

plt.scatter(X, y)
plt.plot(a, lr.predict(b))
plt.show()

#わからないところ

今回の場合、y = ax + b　のaとbを求めるアルゴリズムだと思うのですが、
以下の部分では、b 1個と　a 10個の要素からなるndarrayを作成しています。
各yの入力値と予測値を比較して、ずれ分を補正して次の計算に使用してaとbを求めるアルゴリズムというのはわかるのですが、
最終的に１０個のaがどのように１つのaになるかがわかりません。
（計算最後の各a(w[1:]）をみても同じ値にもなっていませんのでなぜ、これでうまく計算ができているのかがわからず困っています）

self.w_ = np.zeros(1 + X.shape[1])

お忙しい中恐縮ですが、教えて頂けると非常に助かります。
宜しくお願い致します。

Comments

[aokikenichi]

「a 10個の要素」
とはどれでしょうか？

y = ax + b
のa, bと
このプログラムの便宜上の変数a, bを混同なさってませんか

[yamahisa]

混同していました。
output/errorsが10個出ていたので、これをa 10個の要素だと勘違いしていました。
変な質問で失礼いたしました。
コメントありがとうございました。

Answer 1

最終的に１０個のaがどのように１つのaになるかがわかりません。

以下の部分のことをいっているのであれば、この a は、同じ変数名というだけで、回帰曲線 ax + b のパラメータ a とは関係ありません。

a = np.array([1, 11])
b = a.reshape(-1, 1)
plt.scatter(X, y)
plt.plot(a, lr.predict(b))

紛らわしいので、x とでも名前を変えておきましょう。

x = np.array([1, 11])
plt.scatter(X, y)
plt.plot(x, lr.predict(x.reshape(-1, 1)))
plt.show()

この処理は x = np.array([1, 11]) に対応する学習した回帰曲線の y の値を計算して、プロットしている処理です。

---

以下の部分では、b 1個と　a 10個の要素からなるndarrayを作成しています。
self.w_ = np.zeros(1 + X.shape[1])

X.shape[1] は1です。print() して確認してみてください。なので、self.w_ = np.zeros(2) と同じです。y = ax + b のパラメータ [a, b] を作っています。

Comments

[yamahisa]

output/errorsの要素数ばかりみていて、勘違いしていました。
X.shape[1]で要素数を調べればよかったのですね。
おかげさまで理解できました。
変な質問に答えて頂き、ありがとうございます。