過学習を抑えるためにドロップアウトを適応させたが確率が0.5の時に良くならない

過学習を抑えるためにドロップアウト層を入れると改善されると知ったので実験したところ、ドロップアウト確率が0.5のときに最も過学習を抑えられると記事で読んだのですがその通りになりません。実験はMNISTを使った学習なのですが。はじめに構築したコードではドロップアウト0.1から値増やしていくと少しずつLossの値が小さくなっていきを0.5の時に最も小さくなりその後の値は増えていきました。次に訓練画像の枚数を減らして行ったところ、Lossの値がドロップアウトの値が増えていくにつれどんどん大きくなっていきます。わかる方がいらっしゃればご助言頂きたいです。

初めのコード

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images, test_images = train_images / 255.0, test_images / 255.0

model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(Dropout(0.5))
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='sgd',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)
test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)

訓練データの枚数を分割したコード

import keras
from keras.datasets import mnist
import numpy as np
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
from sklearn.model_selection import StratifiedKFold
from keras.layers.core import Dropout
(x_train, y_train), (x_test, y_test) = mnist.load_data()

skf = StratifiedKFold(n_splits=100)
for train_index, test_index in skf.split(x_train,y_train):
 x_train_X = x_train[train_index]
 y_train_Y = y_train[train_index]
shape = (28, 28, 1)
x_train_X = x_train_X.reshape(-1,shape[0],shape[1],shape[2])
x_test = x_test.reshape(-1,shape[0],shape[1],shape[2])
print(x_train_X.shape)
print(y_train_Y.shape)
print(x_test.shape)
x_train_X, x_test = x_train_X / 255.0, x_test / 255.0
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28,1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='sgd',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
epochs=10
batch_size = 128
history = model.fit(x_train_X,y_train_Y,batch_size=batch_size, epochs=epochs)
test_loss, test_acc = model.evaluate(x_test,  y_test, verbose=2)

退会済みユーザー

2021/01/11 21:45 編集

「次に訓練画像の枚数を減らして行ったところ」とありますので、「（ネットワーク構造等は一切変えないで）初めのコードから単純にサンプル数のみを（例えば1/100や1/1000まで減らしたらどうなるか？」に対して問われているという理解で合っていますか？大した影響はないかと思いますが、末尾近くのdropoutの位置が異なるという点でネットワーク構造が微妙に違うための確認の質問です。

kazushi07

2021/01/12 01:24

その通りであってます。

jbpb0

2021/01/12 02:46

> ドロップアウト確率が0.5のときに最も過学習を抑えられると記事で読んだあらゆる状況において、常に0.5が最良になる、なんてことはないですたとえば下記のようにして、最適値を探索しないといけないようなものですから https://nine-num-98.blogspot.com/2020/03/ai-hyper-opt-01.html

退会済みユーザー

2021/01/12 12:07 編集

> ドロップアウト0.1から値増やしていくと少しずつLossの値が小さくなっていきドロップアウトの値とサンプル数を変えたものに対して、縦軸Loss、横軸ステップ数のような感じでグラフにしたものは表示できますか？直感的な理解はなんとなくわかりますが込み入った話になるのでグラフに起こした方が良いと思うためです。収束までのステップがドロップアウトが高いと伸びるとかそういう変化もあるかと思いますので…