In [1]: runfile('/Users/user/研究/ssd_keras/train.py', wdir='/Users/user/研究/ssd_keras')
Using TensorFlow backend.
WARNING:tensorflow:From /Users/user/研究/ssd_keras/ssd_utils.py:37: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.
WARNING:tensorflow:From /Users/user/研究/ssd_keras/ssd_utils.py:37: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.
~~~割愛~~~
Epoch 1/100
/Users/user/研究/ssd_keras/train.py:190: DeprecationWarning: `imread` is deprecated!
`imread` is deprecated in SciPy 1.0.0, and will be removed in 1.2.0.
Use ``imageio.imread`` instead.
img = imread(img_path).astype('float32')
/Users/user/研究/ssd_keras/train.py:194: DeprecationWarning: `imresize` is deprecated!
`imresize` is deprecated in SciPy 1.0.0, and will be removed in 1.3.0.
Use Pillow instead: ``numpy.array(Image.fromarray(arr).resize())``.
img = imresize(img, self.image_size).astype('float32')
7/8 [=========================>....] - ETA: 9s - loss: 5.2499 /Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/keras/utils/data_utils.py:718: UserWarning: An input could not be retrieved. It could be because a worker has died.We do not have any information on the lost sample.
UserWarning)
Traceback (most recent call last):
File "/Users/user/研究/ssd_keras/train.py", line 258, in <module>
nb_worker=1)
~~~割愛~~~
File "/Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/keras/engine/training_generator.py", line 365, in evaluate_generator
generator_output = next(output_generator)
StopIteration
Error in callback <bound method AutoreloadMagics.post_execute_hook of <autoreload.AutoreloadMagics object at 0x7f8d5dd26e50>> (for post_execute):
Traceback (most recent call last):
File "/Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/IPython/extensions/autoreload.py", line 538, in post_execute_hook
_, pymtime = self._reloader.filename_and_mtime(sys.modules[modname])
~~~割愛~~~
File "<frozen importlib._bootstrap_external>", line 916, in get_data
OSError: [Errno 23] Too many open files in system: '/Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/tensorflow_core/contrib/framework/python/ops/__init__.py'
Error in callback <bound method AutoreloadMagics.post_execute_hook of <autoreload.AutoreloadMagics object at 0x7f8d5dd26e50>> (for post_execute):
Traceback (most recent call last):）
と
OSError: [Errno 23] Too many open files in system: '/Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/tensorflow_core/contrib/framework/python/ops/init.py'
を解決しなければいけないのでしょうか？
###やったこと
初めの出力文の最後の方の「UserWarning: An input could not be retrieved. It could be because a worker has died.We do not have any information on the lost sample.」で検索をかけてみました。
> An input could not be retrieved. It could be because a worker has died.We do not have any information on the lost sample.
https://stackoverflow.com/questions/58446290/userwarning-an-input-could-not-be-retrieved-it-could-be-because-a-worker-has
の回答の中に、「I got this warning when I was training on the amount of data samples that was smaller than the batch size.」というのがありました
学習時のバッチサイズは、いくつで実行してますでしょうか？
たぶん、コード中の「gen = Generator(...」の三つ目の引数
もしそれが、学習データ数よりも大きい(あるいは同じくらい)なら、それを学習データ数よりも明らかに小さくなるように(学習データ数の半分以下とか)変えるか、逆に学習データ数をもっと増やしてみてください
> 自前で用意した10枚の画像で学習が最後まで出来るか試そうと、
実際の学習データ数は、コード中で計算されてる「num_train」だから、10よりも少ないですよね (8かな?)
あと、念の為に、「num_val」が0になってないかも確認した方がいいかも
(この質問のエラーとは関係無いかもしれませんが)
jbpb0様、前回に引き続きご回答頂き、誠にありがとうございます！
> 学習時のバッチサイズは、いくつで実行してますでしょうか？
たぶん、コード中の「gen = Generator(...」の三つ目の引数
もしそれが、学習データ数よりも大きい(あるいは同じくらい)なら、それを学習データ数よりも明らかに小さくなるように(学習データ数の半分以下とか)変えるか、逆に学習データ数をもっと増やしてみてください
train.pyの「gen = Generator(...」の三つ目の引数を見てみると「4」でした。なので20や200と変更してみてtrain.pyを実行してみました。するとEpoch 1/100のすぐ直下に
Epoch 1/100
/Users/user/opt/anaconda3/envs/py37/lib/python3.7/site-packages/keras/utils/data_utils.py:718: UserWarning: An input could not be retrieved. It could be because a worker has died.We do not have any information on the lost sample.
と出力され、同様に学習が進みませんでした。
一方でバッチサイズを「2」と変更して同様に実行してみたところ、学習が最後まで進み、train.pyの最終的な出力である学習済みのパラメータファイルを生成することに成功しました！
ご共有いただいたサイトの「I got this warning when I was training on the amount of data samples that was smaller than the batch size.」というコメントを見るからに、バッチサイズよりも学習データ数が少ないとこのWarning文が出るようですが、元々私の環境ではバッチサイズは4で学習データ数は10やら8でしたのでこのWarning文が出る条件は満たされていなかったように思えます。
最終的にバッチサイズを4から2に変更したので、やったこととしてはバッチサイズをさらに少なくするという、記事とは全く逆の行為なんですよね。何故これで上手くいったのでしょうか？
> 実際の学習データ数は、コード中で計算されてる「num_train」だから、10よりも少ないですよね (8かな?)
あと、念の為に、「num_val」が0になってないかも確認した方がいいかも
(この質問のエラーとは関係無いかもしれませんが)
私のtrain.pyの
gt = pickle.load(open('WEBdesign.pkl', 'rb'))
keys = sorted(gt.keys())
num_train = int(round(0.8 * len(keys)))
train_keys = keys[:num_train]
val_keys = keys[num_train:]
num_val = len(val_keys)
の部分のコードを見るに、渡しているpklファイルのkey数が10なので、num_trainは8ですね。また、おそらくnum_valは2になっているかと思われます。
> 最終的にバッチサイズを4から2に変更したので、やったこととしてはバッチサイズをさらに少なくするという、記事とは全く逆の行為なんですよね。
そうではないです
「I got this warning when I was training on the amount of data samples that was smaller than the batch size.」→「データ数 < バッチサイズ で警告が出た」
ですから、「データ数 ≧ バッチサイズ なら警告は出ないだろう」となり、対策としては
・データ数を増やす
・バッチサイズを減らす
になります
バッチサイズを4→2で学習できたということは、増減の方向は上記と合ってます
> 元々私の環境ではバッチサイズは4で学習データ数は10やら8でしたのでこのWarning文が出る条件は満たされていなかったように思えます。
確かにそうですので、その回答を書いた人は、少しずつバッチサイズまたはデータ数を変えてどこでエラー出なくなるのかをちゃんと確認したのではなく、どちらかを大きく変えて大丈夫になった、ということなのかもしれません
質問者さんのケースで例えると、学習データ数が8の場合に、バッチサイズが16でダメだったとして、バッチサイズを2に変えたら大丈夫になり、その結果だけを見て、バッチサイズがデータ数8よりも大きいとダメで、小さければ大丈夫、と書いてしまった、みたいな
(これはあくまでも例えです)
> そうではないです
「I got this warning when I was training on the amount of data samples that was smaller than the batch size.」→「データ数 < バッチサイズ で警告が出た」
ですから、「データ数 ≧ バッチサイズ なら警告は出ないだろう」となり、対策としては
・データ数を増やす
・バッチサイズを減らす
になります
バッチサイズを4→2で学習できたということは、増減の方向は上記と合ってます
勝手に勘違いしていたようです。大変失礼致しました。
> もしかしたら、「num_val」がバッチサイズ=4よりも小さいからダメなのかも
その場合は、総データ数10をtrainとvalに分ける比を0.5:0.5に変えてみて、「num_val」が5になれば、バッチサイズ4でもいけるような
(これはあくまでもエラー原因の確認のためで、本番も0.5:0.5でやるのを勧めているのではありません)
ご指摘の通り、実際に
num_train = int(round(0.5 * len(keys)))
gen = Generator(gt, bbox_util, 4, path_prefix,
train_keys, val_keys,
(input_shape[0], input_shape[1]), do_crop=False)
のようにnum_val ≧ バッチサイズとなるようにして実行してみても学習が途中で止まることは無く、
逆に、同様にしてnum_val < バッチサイズとなるように調整して実行してみると学習が止まることが確認できました。
なのでやはりnum_val < バッチサイズとなる状態で学習が進まなくなるようです！
改めまして前回に続けて様々なご意見を述べて頂き、ありがとうございました。大変助かります！
これからはヒットした記事の細かい部分まで見逃さないようにしたいと思います。
では是非jbpb0様のご回答をベストアンサーとさせて頂くのでご回答の程、お願いいたします。
回答1件
0
ベストアンサー
An input could not be retrieved. It could be because a worker has died.We do not have any information on the lost sample.
Q&A
ベストアンサー
