質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.33%

過学習を抑えるためにドロップアウトを適応させたが確率が0.5の時に良くならない

受付中

回答 0

投稿

  • 評価
  • クリップ 0
  • VIEW 345

score 0

過学習を抑えるためにドロップアウト層を入れると改善されると知ったので実験したところ、ドロップアウト確率が0.5のときに最も過学習を抑えられると記事で読んだのですがその通りになりません。実験はMNISTを使った学習なのですが。はじめに構築したコードではドロップアウト0.1から値増やしていくと少しずつLossの値が小さくなっていきを0.5の時に最も小さくなりその後の値は増えていきました。次に訓練画像の枚数を減らして行ったところ、Lossの値がドロップアウトの値が増えていくにつれどんどん大きくなっていきます。わかる方がいらっしゃればご助言頂きたいです。

初めのコード

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images, test_images = train_images / 255.0, test_images / 255.0

model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(Dropout(0.5))
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='sgd',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)
test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)

訓練データの枚数を分割したコード

import keras
from keras.datasets import mnist
import numpy as np
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
from sklearn.model_selection import StratifiedKFold
from keras.layers.core import Dropout
(x_train, y_train), (x_test, y_test) = mnist.load_data()

skf = StratifiedKFold(n_splits=100)
for train_index, test_index in skf.split(x_train,y_train):
 x_train_X = x_train[train_index]
 y_train_Y = y_train[train_index]
shape = (28, 28, 1)
x_train_X = x_train_X.reshape(-1,shape[0],shape[1],shape[2])
x_test = x_test.reshape(-1,shape[0],shape[1],shape[2])
print(x_train_X.shape)
print(y_train_Y.shape)
print(x_test.shape)
x_train_X, x_test = x_train_X / 255.0, x_test / 255.0
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28,1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='sgd',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
epochs=10
batch_size = 128
history = model.fit(x_train_X,y_train_Y,batch_size=batch_size, epochs=epochs)
test_loss, test_acc = model.evaluate(x_test,  y_test, verbose=2)
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • fourteenlength

    2021/01/12 06:44 編集

    「次に訓練画像の枚数を減らして行ったところ」とありますので、「(ネットワーク構造等は一切変えないで)初めのコードから単純にサンプル数のみを(例えば1/100や1/1000まで減らしたらどうなるか?」に対して問われているという理解で合っていますか?大した影響はないかと思いますが、末尾近くのdropoutの位置が異なるという点でネットワーク構造が微妙に違うための確認の質問です。

    キャンセル

  • kazushi07

    2021/01/12 10:24

    その通りであってます。

    キャンセル

  • jbpb0

    2021/01/12 11:46

    > ドロップアウト確率が0.5のときに最も過学習を抑えられると記事で読んだ

    あらゆる状況において、常に0.5が最良になる、なんてことはないです
    たとえば下記のようにして、最適値を探索しないといけないようなものですから
    https://nine-num-98.blogspot.com/2020/03/ai-hyper-opt-01.html

    キャンセル

  • fourteenlength

    2021/01/12 21:06 編集

    > ドロップアウト0.1から値増やしていくと少しずつLossの値が小さくなっていき
    ドロップアウトの値とサンプル数を変えたものに対して、縦軸Loss、横軸ステップ数のような感じでグラフにしたものは表示できますか?直感的な理解はなんとなくわかりますが込み入った話になるのでグラフに起こした方が良いと思うためです。収束までのステップがドロップアウトが高いと伸びるとかそういう変化もあるかと思いますので…

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.33%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る