線形回帰は過学習をしますか？

Question

機械学習の過学習について質問があります。

機械学習の本では過学習の説明に多項式回帰を使用します。誤差の乗った非線形のデータをうねうねと過剰適合した例がよく示されます。裏を返すと、線形回帰では過学習が起こらないということでしょうか？
線形回帰では、超平面を学習するのでうねうねしたモデルに適合できません。
線形回帰では過学習が起こらないという理解でよろしいでしょうか？

Comments

[退会済みユーザー]

二次元平面上のデータを仮定したときに、ここでいう「超平面」は、ax+bに乗っかるモデルのみをさすのでしょうか？ax^2 + bx + cのようなものは超平面のモデルかもしれませんが線形と呼ばない（と思っているだけです。間違っていたらごめんなさい）ためです。
例えば+y方向に偏った教師データがあれば、結果は偏った線形回帰（過学習？）になりそうですね。

[beginner_of_ML]

ごめんなさい。説明が足りませんでした。
多項式回帰を含まない場合で質問したつもりです。

Answer 1

線形回帰でいう線形とは、パラメータに対して線形ということなので、超平面以外のモデルも含まれます。
質問の意図が超平面による回帰を意図していたのであれば、過学習はしないと思いますが、データが線形でない場合はうまく学習することはできません (過少適合)。

---

線形回帰 - Wikipedia より引用

---

以下は全部線形回帰

import matplotlib.pyplot as plt
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures

# データを生成する。
X = np.array([[2.8], [2.9], [3.0], [3.1], [3.2], [3.3], [3.4], [3.5], [3.6]])
y = np.array([30, 26, 33, 31, 33, 35, 37, 36, 33])

for deg in range(1, 10, 3):
    pf = PolynomialFeatures(degree=deg)
    X_poly = pf.fit_transform(X)

    # 学習する。
    reg = LinearRegression().fit(X_poly, y)

    # 結果を描画する。
    y_pred = reg.predict(X_poly)

    fig, ax = plt.subplots()
    ax.set_title(f"degree = {deg}")
    ax.scatter(X.ravel(), y)
    ax.plot(X.ravel(), y_pred, "r")

    plt.show()

Answer 2

サンプル数が変数の数に対して不十分な場合、線形のモデルであっても過学習します。

極端な例だと、ただのランダムなデータであっても上の条件に合致すればそこそこの「回帰」ができます。

Answer 3

極端な例でいうと以下のような場合、過学習しているといえます。
一般に学習データの数が不十分である場合、過学習しやすいです。