np.linalg.lstsqで最小二乗法の計算をしようとしてもエラーがでる

Question

実現したいこと

最小二乗法の計算をし、単回帰の線を引く

発生している問題

TypeError: No loop matching the specified signature and casting
was found for ufunc lstsq_n　というエラーが発生しうまくいきません。

試したこと

同様のエラーを調べるとfloatに変える意見があったので、
X = np.array([[value, 1] for value in X])を
X = np.array([[value, 1] for value in X], dtype = np.float64 )に変えるなどしましたが、うまくいきませんでした。

よろしくお願いいたします。

###該当のソースコード

import numpy as np
import pandas as pd
from pandas import Series, DataFrame
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_style('whitegrid')
%matplotlib inline

from sklearn.datasets import load_boston
boston = load_boston()
boston_df = DataFrame(boston.data)
boston_df.columns = boston.feature_names
boston_df['Price'] = boston.target
X = boston_df.RM
X = np.vstack(boston_df.RM)

Y = boston_df.Price
X = np.array([[value, 1] for value in X])
a, b = np.linalg.lstsq(X, Y)[0]

C:\Users\neiso\Anaconda3\lib\site-packages\ipykernel_launcher.py:1: FutureWarning: `rcond` parameter will change to the default of machine precision times ``max(M, N)`` where M and N are the input matrix dimensions.
To use the future default and silence this warning we advise to pass `rcond=None`, to keep using the old, explicitly pass `rcond=-1`.
  """Entry point for launching an IPython kernel.
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-36-6700a4df6204> in <module>
----> 1 a, b = np.linalg.lstsq(X, Y)[0]

~\Anaconda3\lib\site-packages\numpy\linalg\linalg.py in lstsq(a, b, rcond)
   2234         # lapack can't handle n_rhs = 0 - so allocate the array one larger in that axis
   2235         b = zeros(b.shape[:-2] + (m, n_rhs + 1), dtype=b.dtype)
-> 2236     x, resids, rank, s = gufunc(a, b, rcond, signature=signature, extobj=extobj)
   2237     if m == 0:
   2238         x[...] = 0

TypeError: No loop matching the specified signature and casting
was found for ufunc lstsq_n

Answer 1

numpy.linalg.lstsq で直線回帰をするには以下のようになります。

切片用に値が1の列を追加するのはsklearn.preprocessing.add_dummy_feature でできます。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
from sklearn.preprocessing import add_dummy_feature

boston = load_boston()

X = boston.data[:, 5:6]
y = boston.target
print(X.shape, y.shape)  # (506, 1) (506,)

# 切片用に1の列を先頭に挿入する。
A = add_dummy_feature(X)
print(A)
# [[1.    6.575]
#  [1.    6.421]
#  [1.    7.185]
#  ...
#  [1.    6.976]
#  [1.    6.794]
#  [1.    6.03 ]]

# 最小二乗法を解く
coef, residuals, rank, singular = np.linalg.lstsq(A, y, rcond=None)
print(f"coefficient: {coef[1]}")
print(f"intercept: {coef[0]}")
# coefficient: 9.102108981180315
# intercept: -34.67062077643859


fig, ax = plt.subplots()

# 点を描画する。
ax.scatter(X.ravel(), y, s=10)

# 回帰曲線を描画する。
xs = np.linspace(*ax.get_xlim(), 100)
ys = coef[1] * xs + coef[0]
ax.plot(xs, ys, "r")

plt.show()

sklearn の LinearRegression と値が一致することは以下のように確認できます。

import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model

X = boston.data[:, 5:6]
y = boston.target

# 学習する。
reg = linear_model.LinearRegression().fit(X, y)
print(f"coefficient: {reg.coef_}")
print(f"intercept: {reg.intercept_}")

Comments

[neison]

回答ありがとうございます。こちらの環境でも同様の図が出力されました。
add_dummy_featureというモジュールがあるのですね。
まだまだ学ぶことは多そうです。ありがとうございました。