ミニバッチ学習の実装がよくわかりません・・・。

Question

勉強のために画像認識の実装をgoogle colaboratoryで行っています。
画像50枚とかだと学習を行ってくれるのですが、
画像が3000枚だとメモリ不足でクラッシュしてしまい学習できません。
（できれば、解像度やサイズを変更したくありません。）

そこで、ミニバッチ学習ならメモリ消費を少なくできるんじゃないかと思い実装しようとしています。

質問：
バッチサイズNのサブセットに分割して、modelクラスのfitで一つずつモデルを作成したらどうやって一つにまとめてモデルを保存するのでしょうか？

なにかライブラリがあるのでしょうか？

（ミニバッチ学習はバッチごとの損失、勾配を求めてその平均で重みを更新するという認識ででいます。）

お手数をおかけしますが、よろしくお願い致します。

以下コードになります。

import keras
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.layers.core import Dense, Dropout, Activation, Flatten
import numpy as np
from sklearn.model_selection import train_test_split
from PIL import Image
import glob
import matplotlib.pyplot as plt

#画像が入った入力データ
X = X.astype('float32')
X = X / 255.0

#正解ラベルの形式を変換
Y = np_utils.to_categorical(Y, 4)

#学習用データとテストデータ
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2,train_size=0.8)

モデルの構築

model = Sequential()

model.add(Conv2D(32, (3, 3), padding='same',input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(4))
model.add(Activation('softmax'))

# コンパイル
model.compile(loss='categorical_crossentropy',optimizer='SGD',metrics=['accuracy'])

#訓練
history = model.fit(X_train, Y_train, epochs=100)

これだとメモリ不足に陥るため、ミニバッチ学習で小分けに学習していきたいです。
（ちなみに画像サイズは700×500です。）

Comments

[toast-uz]

現在、クラッシュしてしまうコードを示してください。最近のフレームワークを普通に使うとミニバッチ学習ができてしまいます（意識して変更しないとミニバッチ学習しない状態にならない）ので、質問者様が考えている原因や対策が違う可能性があります。

[pritu]

コードを載せてみました！
おそらくですが、画像サイズがでかいためにメモリが不足するのかと思っています・・・。

[toast-uz]

kerasのmodel.fitでのbatch_sizeはデフォルトで32になりますので、ミニバッチ学習はできています。700✕500✕32ch✕バッチサイズ32✕float(4バイト) = 1,433,600,000 = 1.4GBなので、ここが原因ではないように思います。以下2つを教えて下さい。
・X.shape （ミニバッチ以前に、そもそもデータ全体がメモリに乗っているのかの確認　→ この対策は有名ですが、質問者様が「ミニバッチ」というこの対策と異なる用語を使ったため、ミスリードしている可能性あり）
・具体的にメモリエラーが出た前後のエラーメッセージ、学習の進行状況がわかるメッセージ → 学習途上でメモリエラーになっているのであれば、何らかの理由で過去のミニバッチの使用メモリが開放されていない可能性あり。あるいはXで利用しているメモリが大きすぎて、残りメモリが少ない可能性あり。

[toast-uz]

ppaul様の回答が正しいと思いますので、上記は無視してください。

[pritu]

toast-uzさん、
ご回答ありがとうございます！
ミニバッチ学習に関して勘違いしていました・・・

Answer 1

NNの学習で必要なGPUメモリを算出するを参考にして画像サイズ700×500、batchサイズ32で計算してみました。

パラメータを見ることができないので、正確ではありませんが、モデルの部分の必要メモリは約56Gバイトになります。これとは別に画像全てを保管するメモリも必要です。画像が0枚でもクラッシュすることになりますね。

batchサイズを8に変更しても約14Gバイトなのでgoogle colaboratoryの上限12Gバイトでは不足です。

また、画像サイズを大きくした場合、層数を増やさないと精度はあまり上がりませんし、層数を増やすと必要メモリも計算時間も大幅に増えます。

700*500の画像認識をしたければ、現在のスーパーコンピュータでは無理である可能性が高いと思います。

Comments

[toast-uz]

model.summary()してみたら3チャネルカラー画像という前提で
Total params: 697,338,404
ニューロン数: 76,389,508
でした。

[pritu]

ppaulさん、
わかりやすい説明ありがとうございます。
画像サイズを小さくして層数を考えながら、精度がでるか自分なりに考えてみようと思います！

Answer 2

ニューラルネットワークで認識できる画像サイズ（入力値）は、普通大きくても256x256や128x128、小さければ32x32くらいです。百度中国のどこかの企業が昔やっていましたが512x512もできなくはないですが、負荷が巨大になる割に、対して認識性能が上がらない（コスト対効果が見合わない）、という結論（先の百度の論文ではない別のところです）があったと思います。

さらに、掲載のコードはリファレンスのコードとよく似ていますので、元画像をimg=cv2.resize(img,(100,100))くらいに縮めればそこそこ認識できるものと思います。もし認識率が悪ければ既存のネットワーク構造と重みを流用してください。

これでだめならバッチサイズを今の1/2に減らすことを繰り返していけば普通は走るはずです。

Comments

[pritu]

fourteenlengthさん、
ご回答ありがとうございます！
画像サイズを大きくすれば精度があがると正直思っていました。。
勉強になりました！