過学習の'させ方'を教えてください

Question

バカみたいな質問ですみません。
最近ニューラルネットワークにハマっていて過学習を利用したプログラムを作っています。
過学習を起こすことが目的ですので普通は嫌われる過学習を逆に意図的に起こす方法を探しています。
しかし、もちろん過学習のさせ方などという情報は調べた限りありませんでした。
そこで、ニューラルネットワークのパラメーターをどのようにすれば過学習が起きやすくなるのか教えていただきたいです。
ちなみにpython3.6でtensorflowとkerasを使っています。

Answer 1

ニューラルネットワークのパラメーターをどのようにすれば過学習が起きやすくなるのか教えていただきたいです。

全結合層のみのネットワークで各層のニューロン数 (出力数) を大きな値にすれば、過学習すると思います。
基本的に学習するパラメータを増やして、重みの正則化などの制限もかけなければ過学習します。

追記

Pytorch で過学習の例を作ってみました。

ノイズを載せた x**2 関数を2層の全結合層で構成されるニューラルネットワークで回帰するコードを作り、中間層のニューロン数を変化させたときに、学習結果がどうなるかを確認しました。

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt


class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super().__init__()
        self.hidden1 = torch.nn.Linear(n_feature, n_hidden)
        self.hidden2 = torch.nn.Linear(n_hidden, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)

    def forward(self, x):
        x = F.relu(self.hidden1(x))
        x = F.relu(self.hidden2(x))
        x = self.predict(x)
        return x


def train_and_show_result(x, y, n_hidden):
    net = Net(n_feature=1, n_hidden=n_hidden, n_output=1)
    optimizer = torch.optim.Adam(net.parameters())
    loss_func = torch.nn.MSELoss()

    for t in range(1000):
        # 順伝搬する。
        prediction = net(x)

        # 損失関数の値を計算する。
        loss = loss_func(prediction, y)

        # 逆伝搬する。
        optimizer.zero_grad()
        loss.backward()

        # 学習する。
        optimizer.step()

    # 学習したモデルの予測結果
    x2 = torch.unsqueeze(torch.linspace(-5, 5, 100), dim=1)
    y2 = net(x2).detach().numpy()

    # グラフを表示する。
    fig, ax = plt.subplots()
    ax.set_title(f"n_hidden={n_hidden}")
    ax.scatter(x, y)  # 学習データをプロットする。
    ax.plot(x2, y2, "r")  # 学習したモデルの予測結果をプロットする。
    ax.grid()
    plt.show()


# サンプルデータを生成する。 f(x) = x^2 + noise
torch.manual_seed(1)
x = torch.unsqueeze(torch.linspace(-5, 5, 20), dim=1)
y = x ** 2 + 10 * torch.rand(x.size())


for n in [100, 500, 1000]:
    train_and_show_result(x, y, n_hidden=n)

パラメータを増やせば増やすほど、モデルの自由度が高くなり、ノイズつきの学習データに fit しすぎて、過学習していることがわかるかと思います。

Comments

[AIthon]

なるほど、ありがとうございます。ちなみに過学習させやすい(笑)最適化方式はありますか？なるべく早くニューラルネットワークに過学習させたいので。

[tiitoi]

最適化方式はなんでもいいと思いますが、ニューロン数に応じて学習率をかえる (適当な学習率を選ばないと発散する) のが面倒なので、Adam でやってみました。

[AIthon]

わざわざ例まで作ってくださり本当にありがとうございます！

Answer 2

ニューラルネットワークに限らず学習データ数に対するモデルの自由度が高すぎるときに起きる現象なのでそのように設定すればよいかと思います。
簡単な例を挙げるとXY平面上のM個の点をN次関数でフィットしようとしたとき、NがM-1以上だとM個の点がどんな点であれN次関数は絶対にすべての点を通過できてしまいます。
(N次関数のパラメータはN+1個なので)

Comments

[AIthon]

なるほど、わかりやすく解説していただき、ありがとうございます