重回帰分析の学習をしていた際に分からない問題がありました

Question

Pythonでの重回帰分析の基礎を学習をしていた際に、出てきた問題なのですが、以下の画像における求める「w」は何を表しているのでしょうか...?

どなたか、教えて頂けましたら幸いです。
よろしくお願いします。

Answer 1

回帰係数の行列ですね。

Xは(4, 3)の行列、yは(4, 1)の行列なので、w=(X^T X)^{-1}X^T yは(3, 1)の行列になり、Xwでyを予測することができます。

追記

実際に計算してみると理解が深まります。

import numpy as np

X = np.array([[1,2,3],
              [1,2,5],
              [1,3,4],
              [1,5,9]])
y = np.array([[1], 
              [5], 
              [6], 
              [8]])

w = np.linalg.inv(X.T @ X) @ X.T @ y

print(repr(w))
print(repr(X @ w))

""" =>
array([[-0.14285714],
       [ 0.71428571],
       [ 0.57142857]])
array([[3.        ],
       [4.14285714],
       [4.28571429],
       [8.57142857]])
"""

二次元配列風表現の行列として書いてみると、たとえば[[1,2,3]]と[[-0.14285714],[ 0.71428571],[ 0.57142857]]をかけると[[3]]が得られます。こういう感じでそれなりの予測ができる訳です。

Comments

[aae_11]

ご回答ありがとうございます。
なんとなくですが、分かった気がします！
つまる所、行列「x」の１行目の「1,2,3」だった場合に、yが「１」といった具合に、yを予測する為の計算方法が、「　(X^T X)^{-1}X^T y 」であるといった感じでしょうか...?

[hayataka2049]

そうですね。行列積を求めればそのまま予測が行なえます。ちょっとpythonコードの例を追記しました。

[aae_11]

追記ありがとうございます。
お手数をおかけし申し訳ないのですが、少しばかり疑問な点がありお聞きしたいのですが、「x」と「w」をかけますと、「3」の他に、３つのデータが格納されています。この他の３つのデータはどのようなものなのでしょうか？
また、仮に、新たなデータを追加し(xに新たな行を追加)、その結果(y)を求めたい場合、その新たなデータに対して、のみパラメーターである「w」をかければ良いのではないのでしょうか...?

[hayataka2049]

Xは(4, 3)の行列なのを思い出していただきたいのですが、(3, 1)の行列と掛け合わせると(4, 1)の行列が得られます。
どういう演算になるかというと、Xの個々の行に対して係数をかけ合わせますから、[[1,2,3]]@w, [[1,2,5]]@w,[[1,3,4]]@w, [[1,5,9]]@wがそれぞれ得られます。得られた(4, 1)の行列は観測されたデータ点すべてに対応する予測を行っていることになります。
新たなデータを予測する場合、実装としてはXの行を追加するのではなく、新たなデータの配列を用意してwをかければよいのではないでしょうか。

[aae_11]

ご説明頂き、ありがとうございます。
なるほどです...
少し、勘違いしてしまっていたのですが、予測として出た「３」というのは、xのデータ[1,2,3]に対応していて、次のデータ [1,2,5]は[4.14285714]に対応しているといった形で、それぞれの行に対応した予測結果がxwであるということでしょうか...?

[hayataka2049]

はい、そういうことになります。

[aae_11]

少々混乱していたのですが、理解することができました。ありがとうございました。