MNIST 精度の出力について教えて下さい

MNISTを通して画像分類の機械学習を勉強していますが、
結果の見方がよくわかりません。
結果には
・学習データに対しての精度(acc)
・検証データに対しての精度(val_acc)
・テストデータに対しての精度(test_accuracy)
があります。
これらの違いがよくわっていません。
理解したいので、
下記私の理解で正しいか教えて下さい。

学習データに対しての精度
MNISTのデータセットには
学習データ60,000枚
テストデータ10,000枚
のデータがあり
学習データは検証用として分割を行います。

0.2で分けたとします。（Validation_split = 0.2）
そうすると
学習データ：48,000枚
検証用12,000枚
とデータが分割されます。
エポック200で
バッチサイズが128だった場合で考えると、
1エポックの学習は
48,000枚/128で、
合計375個のインテレーションに分けられ1エポックとして学習されます。

そうすると
学習データに対する精度(acc)とは、
１エポックの中で学習し、バックプロパゲーションを画像一枚づつ行いながら精度を更新しその結果を示している。
（128枚×375インテレーション = 48,000回の更新をした結果を示している）
例えば
3/200 epochであれば
128枚×375インテレーション×3epoch= 144,000枚分の画像を取り込み、学習を更新した結果を示している

検証データに対する精度とは、（val_acc）
そのepochで学習が更新された最もロスEが低くなったとされる重みの設定で、
検証データである12,000枚のデータを認識させ
出力した精度を言う
この時重みの更新はされていない？
バックプロパゲーションは起こっていない？

最後にテスト用の画像データは
200/200 epochで更新された重みの設定で
テスト用の10,000枚の画像を対象として画像分類を行った精度を出力している
こちらも検証データと同様に学習の更新は行なっていない
検証データの結果とテスト用画像の結果違いは
毎epochで検証データは結果を出力するが、
テスト用画像の結果は最後の重みの更新が終わるまで検証しない

したがって200/200epochの検証データに対する結果とテストデータに対する結果は近くい値が出る。

長文失礼しました
この理解が正しいか一度みて頂けますでしょうか。
よろしくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

下記私の理解で正しいか教えて下さい。

この理解で良いと思います。

学習用：本当に学習の時のみに使う
検証用：学習の結果が正しいか測るのみ（＝推論に使うのみ）でこれをLoss減少のためには使いません
テスト用：一連の学習検証プロセスの結果、ちゃんと汎用性を持った結果が得られるかを最後の最後に試す用のデータです。学習用・検証用にハイパーパラメータを調整することも可能かもしれませんが、「そうもいかないよ」と歯止めをするためのデータになります。

検証データに対する精度とは、（val_acc）そのepochで学習が更新された最もロスEが低くなったとされる重みの設定で、

ここだけが少し異なる可能性があります。

1) 定義の問題
AccはLossの結果がどうであれ、分類結果が正しいかどうかによって判定されます。確かに、最もロスが少なければ当然Accも低いとも思いますが、分類結果しか見ていない以上、Lossが大きくてもAccが小さい（学習途中）という可能性もあります。

2) 実装の方法…質問の「行間」を埋める説明です(出展が抜けています)
検証の際の計算タイミング（方法）についての回答です。
質問中に特に触れられておりませんでしたので、完全に「行間」に対する回答です。
不要でしたら以下無視してください。

Kerasのタグがありますが、Tensorflowの前提で書きます。Tensorflowで学習を進めていくと、LossよりもVal lossが低くなることがあります。
※ここの話はaccではなくlossの話ですが、指標が異なるだけで恐らく同じ処理から生まれてくる問題と思います。お手数おかけしますが適当に読み替えてください。

Tensorflowの内部では、Lossの計算はiterationの度に計算されるそうですが、Val lossは学習が片付いてから全iteration分をまとめて（チューニングが済んだような状態で）計算するそうです。この都合上、iterationの中で都度誤差を調べ縮めながら計算するLossよりも、Val lossはiteration後に最適化されたような状態で計算されるため、（ちょっと気持ちが悪いですが、学習に用いていない）Val lossの方が小さくなることもある、そうです。この内容はどこかのStackoverflowにありますが、リンクを忘れてしまいましたのでご容赦ください。

投稿2021/01/31 10:05

編集2021/01/31 10:11