物体検出 yolo3 学習実行時のエラー

Question

物体検出、プログラミング初心者です。
自前の画像を使用して物体検出を行おうと考えています。
一連の流れをつかむためにまずは画像数90枚で行っております。
悩んでいる点としては、
・学習が途中で停止してしまう(100epoch中50epochで学習停止する)
・バッチサイズが途中で8→32に変わってしまう
です。これにより学習が完了せず解決策を教えていただきたいです。
以下に学習を実行した際の画像を載せます。

//////////////////////////////////////////////////////////////////////////
実行画面
////////////////////////////////////////////////////////////////////////////////
Load weights model_data/yolo_weights.h5.
Freeze the first 249 layers of total 252 layers.
Train on 49 samples, val on 5 samples, with batch size 8.
Epoch 1/50
6/6 [==============================] - 97s 16s/step - loss: 3862.8236 - val_loss: 2525.1660
Epoch 2/50
6/6 [==============================] - 94s 16s/step - loss: 2004.1879 - val_loss: 1296.2518
Epoch 3/50
6/6 [==============================] - 94s 16s/step - loss: 1103.3874 - val_loss: 758.0297
Epoch 4/50
6/6 [==============================] - 95s 16s/step - loss: 651.3497 - val_loss: 505.9644
Epoch 5/50
6/6 [==============================] - 95s 16s/step - loss: 440.2337 - val_loss: 366.5551
Epoch 6/50
6/6 [==============================] - 94s 16s/step - loss: 327.3511 - val_loss: 272.4472
Epoch 7/50
6/6 [==============================] - 95s 16s/step - loss: 259.5925 - val_loss: 253.0002
Epoch 8/50
6/6 [==============================] - 94s 16s/step - loss: 227.3389 - val_loss: 210.8321
Epoch 9/50
6/6 [==============================] - 95s 16s/step - loss: 207.7706 - val_loss: 183.8971
Epoch 10/50
6/6 [==============================] - 94s 16s/step - loss: 184.3050 - val_loss: 187.1789
Epoch 11/50
6/6 [==============================] - 94s 16s/step - loss: 166.7220 - val_loss: 163.4344
Epoch 12/50
6/6 [==============================] - 94s 16s/step - loss: 171.3143 - val_loss: 156.6712
Epoch 13/50
6/6 [==============================] - 94s 16s/step - loss: 155.6616 - val_loss: 151.1485
Epoch 14/50
6/6 [==============================] - 94s 16s/step - loss: 147.6659 - val_loss: 148.0244
Epoch 15/50
6/6 [==============================] - 93s 16s/step - loss: 147.8277 - val_loss: 147.0369
Epoch 16/50
6/6 [==============================] - 94s 16s/step - loss: 138.5200 - val_loss: 140.4684
Epoch 17/50
6/6 [==============================] - 94s 16s/step - loss: 138.0531 - val_loss: 139.6148
Epoch 18/50
6/6 [==============================] - 94s 16s/step - loss: 122.5309 - val_loss: 132.9278
Epoch 19/50
6/6 [==============================] - 95s 16s/step - loss: 128.7083 - val_loss: 124.5317
Epoch 20/50
6/6 [==============================] - 94s 16s/step - loss: 126.3449 - val_loss: 131.9259
Epoch 21/50
6/6 [==============================] - 94s 16s/step - loss: 120.1624 - val_loss: 126.4648
Epoch 22/50
6/6 [==============================] - 94s 16s/step - loss: 114.2325 - val_loss: 120.2197
Epoch 23/50
6/6 [==============================] - 94s 16s/step - loss: 121.6016 - val_loss: 122.1450
Epoch 24/50
6/6 [==============================] - 94s 16s/step - loss: 112.7781 - val_loss: 121.4166
Epoch 25/50
6/6 [==============================] - 94s 16s/step - loss: 110.1831 - val_loss: 109.2688
Epoch 26/50
6/6 [==============================] - 94s 16s/step - loss: 109.7402 - val_loss: 113.1680
Epoch 27/50
6/6 [==============================] - 93s 16s/step - loss: 100.4482 - val_loss: 111.1782
Epoch 28/50
6/6 [==============================] - 94s 16s/step - loss: 110.2274 - val_loss: 95.1962
Epoch 29/50
6/6 [==============================] - 93s 16s/step - loss: 101.5781 - val_loss: 109.4423
Epoch 30/50
6/6 [==============================] - 93s 16s/step - loss: 105.5079 - val_loss: 97.6294
Epoch 31/50
6/6 [==============================] - 93s 16s/step - loss: 102.4861 - val_loss: 100.0084
Epoch 32/50
6/6 [==============================] - 93s 15s/step - loss: 100.4590 - val_loss: 104.3083
Epoch 33/50
6/6 [==============================] - 93s 15s/step - loss: 100.3361 - val_loss: 105.8973
Epoch 34/50
6/6 [==============================] - 92s 15s/step - loss: 102.2306 - val_loss: 103.4538
Epoch 35/50
6/6 [==============================] - 92s 15s/step - loss: 95.9612 - val_loss: 104.5623
Epoch 36/50
6/6 [==============================] - 93s 15s/step - loss: 97.2867 - val_loss: 102.8819
Epoch 37/50
6/6 [==============================] - 92s 15s/step - loss: 99.8794 - val_loss: 100.2253
Epoch 38/50
6/6 [==============================] - 93s 15s/step - loss: 91.6456 - val_loss: 83.9571
Epoch 39/50
6/6 [==============================] - 92s 15s/step - loss: 96.0486 - val_loss: 95.0769
Epoch 40/50
6/6 [==============================] - 92s 15s/step - loss: 93.4906 - val_loss: 105.6490
Epoch 41/50
6/6 [==============================] - 92s 15s/step - loss: 89.3412 - val_loss: 93.1189
Epoch 42/50
6/6 [==============================] - 92s 15s/step - loss: 89.4554 - val_loss: 103.3351
Epoch 43/50
6/6 [==============================] - 92s 15s/step - loss: 93.0239 - val_loss: 89.3026
Epoch 44/50
6/6 [==============================] - 93s 15s/step - loss: 84.5503 - val_loss: 99.7245
Epoch 45/50
6/6 [==============================] - 93s 15s/step - loss: 94.8018 - val_loss: 98.3804
Epoch 46/50
6/6 [==============================] - 92s 15s/step - loss: 88.8270 - val_loss: 89.7440
Epoch 47/50
6/6 [==============================] - 92s 15s/step - loss: 88.7191 - val_loss: 105.0226
Epoch 48/50
6/6 [==============================] - 93s 15s/step - loss: 86.8692 - val_loss: 90.4322
Epoch 49/50
6/6 [==============================] - 95s 16s/step - loss: 88.1812 - val_loss: 99.0259
Epoch 50/50
6/6 [==============================] - 95s 16s/step - loss: 88.8118 - val_loss: 98.1384
Unfreeze all of the layers.
Train on 49 samples, val on 5 samples, with batch size 32.
Epoch 51/100
^C

Answer 1

以下のレポジトリですよね？

GitHub - qqwweee/keras-yolo3: A Keras implementation of YOLOv3 (Tensorflow backend)

^C と出てますが Ctrl + C で自分で止めてないでしょうか？
バッチサイズが変わるのは、コードの実装通りの動作です。

Comments

[tukatuka]

回答ありがとうございます。そちらのレポジトリであってます。Ctrl+Cの操作は行っておらず毎回＾Cの表示が出て勝手に停止してしまいます。また、 val on 5 samplesとなっておりバッチサイズよりも小さいのですが問題は無いのでしょうか？

[tiitoi]

どのような環境で実行しているのでしょうか？
python train.py のようにコンソールから実行していますか？

> バッチサイズよりも小さいのですが問題は無いのでしょうか？
バッチサイズより小さい場合は、その数 = バッチサイズになるように修正されるので、その点は問題ありません。

[tukatuka]

google colabにてpython train.py のように実行しています。こちらのサイトの流れに沿ってやっています。
https://sleepless-se.net/2019/06/23/yolo-original-model-training-on-colab/
バッチサイズの件了解しました。ありがとうございます。

[tiitoi]

バッチサイズが8から32に変更して学習しようとしたタイミングで止まってしまうということは、もしかしたらメモリ不足等の可能性もあるので、以下の train.py 76行目の32となっているバッチサイズを16や8など小さい値にしてみてはどうでしょうか。

https://github.com/qqwweee/keras-yolo3/blob/e6598d13c703029b2686bc2eb8d5c09badf42992/train.py#L76