機械学習の訓練とテストのそれぞれの役割を教えてください。

Question

O'Reilly Japan出版の - ゼロから作るDeep Learningを今読んでいるのですが、分からない点があるので質問があります。

コードの14行目(x_train, t_train), (x_test, t_test) のそれぞれxとyの訓練とテストの役割がイメージできないので教えてください。

import sys, os
sys.path.append(os.pardir)  # 親ディレクトリのファイルをインポートするための設定
import numpy as np
from dataset.mnist import load_mnist
from PIL import Image


def img_show(img):
    pil_img = Image.fromarray(np.uint8(img))
    pil_img.show()

(x_train, t_train), (x_test, t_test) = load_mnist(flatten=True, normalize=False)

img = x_train[0]
label = t_train[0]
print(label)  # 5

print(img.shape)  # (784,)
img = img.reshape(20, 20)  # 形状を元の画像サイズに変形
print(img.shape)  # (28, 28)

img_show(img)

Answer 1

ざっくりと言うと、trainデータはモデルのパラメータ(Wやbなど)を更新するために使うデータです。学習用データ、訓練データなどとも呼ばれます。

testデータ訓練後のモデルの性能を確認するためのデータです。学習後のモデルに未知のデータを入力して、初めて見るサンプルに対してどのくらい正解できるかに注目します。

ちなみに、訓練データに対しては精度が良くても、テストデータでは精度が悪いことがあります。一般的にこの状態は過学習と呼ばれているそうです。一方で、訓練データへの学習が進まない場合もあります。その書籍は読んだことありませんが、おそらく進めて行けば出てくる話題のはずですよ。

Comments

[LouiS0616]

> 出てくる話題のはず
おっしゃるとおり、書籍では4.1.2 訓練データとテストデータ (86頁) に同様の説明があります。

[tomokazu]

ありがとうございます！

[wakame]

過学習については6.4.1 過学習(P.190~)で説明されていますね。