KerasとTensorflowを用いて分割して学習させたい

Question

KerasとTensorflowを用いてデータが多いため分割して学習させたいです。

モデルを定義して以下のようにfitさせています。

model.fit(X, y_keras, batch_size=batch_size, epochs=1000, validation_split=0., verbose=1)

Xが多次元配列で１００万個程度あるのでメモリエラーが発生してしまいます。
そのため、１万単位に分割してfitさせようかと考えています。

以下のように１万単位でXをデータ格納しfitさせていきたいのですが、そもそも考え方として良いのかなどバックリとした
懸念しています。
この場合に注意する点などをアドバイスをお願いします。
batch_size, epochsサイズなどは少し小さめで進めようかと考えていますが、注意点や考え方などご意見、アドバイスなどをお願いします。

for i in range( 1000000 ) ):
  # Xにデータ格納処理
  X = ...
  if (i%10000==0):
     model.fit(X, y_keras, batch_size=batch_size, epochs=1000, validation_split=0., verbose=1)

Answer 1

そもそも考え方として良いのかなどバックリとした懸念しています。

サンプル数が多い場合は、ミニバッチを作成するジェネレーターを作成し、fit_generator() で学習を行うのがよいと思います。

ジェネレーターの作り方は Qiita やブログ等に載っているので、ここでは割愛します。

KerasのGeneratorを自作する - kumilog.net

Comments

[yamayamak]

なるほど、ありがとうございます。そういう方法があったんですね。
上記、参考にさせて頂き、修正しようと思います。
ありがとうございました。