質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

機械学習時のエラー ResourceExhaustedErrorにより学習が進まなくなる

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 6,158

yohehe

score 48

tensorflow-GPUを用いてkerasによる機械学習時にmodel.fitを行うと以下のエラーが出現するのですが、GPUのメモリに学習時にデータが乗り切らないということでしょうか?
GPUをオフにして学習を開始するとエラーは出現しておりません。
GPU:GTX1060 3GBを使用しております。

学習させたいデータサイズは以下です。
train_X.shape:(4732,270)
train_y.shape:(4732,5)
test_X.shape:(2028,270)
test_y.shape:(2028,5)

batch_size,epochsを増やして学習させたいのですが、増やしていくと頻繁にエラーが出現してしまいます。

#入力層、中間層、出力層の設定
model=Sequential()
model.add(Dense(units=4700,activation="relu",kernel_regularizer=regularizers.l2(0.001),input_shape=(n_features,)))
model.add(normalization.BatchNormalization())
#Dropoutを設定
model.add(Dense(units=4700,activation="relu",kernel_regularizer=regularizers.l2(0.001)))
model.add(Dropout(0.5))
model.add(Dense(units=2700,activation="relu",kernel_regularizer=regularizers.l2(0.001)))
model.add(Dropout(0.5))
model.add(Dense(units=1300,activation="relu",kernel_regularizer=regularizers.l2(0.001)))
model.add(Dropout(0.5))
model.add(Dense(units=700,activation="relu",kernel_regularizer=regularizers.l2(0.001)))
model.add(Dense(units=n_classes,activation="sigmoid"))
model.compile(loss="binary_crossentropy",optimizer="adam",metrics=["accuracy"])
history=model.fit(train_X,train_y,epochs=1000,validation_data=(test_X,test_y),batch_size=2000,verbose=1,shuffle=True)


#以下エラー内容:

ResourceExhaustedError: OOM when allocating tensor with shape[4732,2716] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
     [[Node: dense_13/weight_regularizer/Square = Square[T=DT_FLOAT, _class=["loc:@training_1/Adam/gradients/AddN_15"], _device="/job:localhost/replica:0/task:0/device:GPU:0"](dense_13/kernel/read)]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.
 [[Node: metrics_1/acc/Mean_1/_743 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_2321_metrics_1/acc/Mean_1", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.


以上のエラーが出ると再起動しなくては学習がすすまない状態になってしまいます。
このエラーを回避する良い方法はありますでしょうか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+2

3GBというとちょっときつい条件ですね。

epochsとは無関係なはずですが、batch_sizeは下げた方が良いのでは。

あと、ネットワーク構造がよくわからない・・・270次元の特徴量(だと思いますが)に第一層から4700unitsも使うんですか? あと、やたらたくさんある中間層、こんなに必要なんですかね。これを見直せれば、メモリ消費量を減らせるかもしれません。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/04 01:45

    「必要ない」とは言い切れませんが、大抵のケースでは特徴量程度あれば十分かと
    中間層も、すべて密結合とする単純な多層パーセプトロンでは1層かせいぜい2層あれば十分ではないでしょうか

    キャンセル

  • 2018/10/04 01:50

    ありがとうございます。本を調べておりましても中間層設定については最適なものなどはないと記載されておりましたので、units数などをいろいろと変更して試しているところでした。
    多層パーセプトロンの学習においてDropoutや正則化などを複数追加すれば精度が上がるというわけでもないのですね。

    キャンセル

  • 2018/10/04 02:00

    epochs,batch_sizeを減らすことで安定して動作しております。hayataka2049様ありがとうございます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る