yolov8 独自データセットで学習中にフリーズする

Question

実現したいこと

下記を参考にし、独自データで学習させたいです。
https://chem-fac.com/yolov8/

発生している問題・分からないこと

学習中に固まります。

また、学習途中で生成されたファイルは下記です。

runs\detect\train

この中に次のファイルが生成されています。
weightsフォルダ
args.yaml
events.out.tfevents.1710769450.pc-win10.10700

尚、weightsフォルダ内に重みファイルは生成されていません。

エラーメッセージ

↓ポップアップのメッセージ
////////////////////////////////////////////////////////////////////////////////////////////////
Kernel Restarting
The kernel for YOLO/YOLO_test.ipynb appears to have died. It will restart automatically.
////////////////////////////////////////////////////////////////////////////////////////////////

↓エラー直前のメッセージ
Model summary: 295 layers, 25858057 parameters, 25858041 gradients, 79.1 GFLOPs

Transferred 469/475 items from pretrained weights
TensorBoard: Start with 'tensorboard --logdir runs\detect\train3', view at http://localhost:6006/
Freezing layer 'model.22.dfl.conv.weight'
train: Scanning C:\Users\user\YOLO\datasets\a\labels\train.cache... 4 images, 0 backgrounds, 0 corrupt: 
val: Scanning C:\Users\user\YOLO\datasets\a\labels\val.cache... 3 images, 0 backgrounds, 0 corrupt: 100%
Plotting labels to runs\detect\train3\labels.jpg... 

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

①ライブラリのアップデート
ultralytics　 8.1.27　→　8.1.29

②ライブラリのダウングレード
最新版から古いバージョンへダウングレードを実施。
tensorflow　 2.16.1 →　2.14.1

③学習中のメモリやGPU使用率の確認
GPUの使用率が低い。
メモリは常に６０％使用。

補足

Python 3.11.7
pip 23.3.1
ultralytics 8.1.27
tensorboard 2.16.2
tensorboard-data-server 0.7.2
tensorflow 2.16.1

Comments

[meg_]

PC環境はどうでしょうか？メモリは十分ありますか？

[python01]

③学習中のメモリやGPU使用率の確認　を追加しました。
メモリは常に６０％使用しています。
この数値は正常な範囲でしょうか？

NVIDIAのGPUを使用するとよいとの記事があったので、
こちらも試してみます。

[meg_]

> val: Scanning C:\Users\user\YOLO\datasets\a\labels\val.cache... 3 images, 0 backgrounds, 0 corrupt: 100%
上記メッセージ気になりますね。（corrupt: 100%のところ）画像やラベルには何も問題ないでしょうか？

[python01]

この部分のログは下記のようになっており、
3 images,
0 backgrounds,
0 corrupt

100%の横に黒いバーが表示されるので、
処理終了の意味で100％となっているようです。

[meg_]

「0 corrupt」でしたか。すみません。見間違えていたようです。

> YOLO_test.ipynb
ということはJupyter notebook や Jupyter Lab をお使いでしょうか？これらのツールは理由不明で落ちることがありますね。
効果があるかは分かりませんがPCの再起動は試されたでしょうか？

[python01]

Jupyter notebookを使用しています。

コマンドプロンプトで実行したらフリーズせずにモデルが生成されました！
ありがとうございます！！

Jupyter notebookで学習させるとフリーズする事があり、
コマンドプロンプトで学習させるとフリーズしない。
という内容でベストアンサーにさせて頂けないでしょうか？

[meg_]

WindowsマシンでJupyter notebookの動きが不安定な気がしますね。（経験からの話で原因等は分かりません）質問者さんの環境で上手くいった方法を回答として投稿していただければと思います。モデル生成ができたとのこと良かったですね！

[python01]

了解しました。
色々とご教授頂きありがとうございます。

また、Jupyter_notebookでも「ライブラリーの競合を無視する設定」を行う事で
フリーズせずに学習ができました！

自己解決の②に記載しています。

Answer 1

①コマンドプロンプトで実行する。
→元々のコードでフリーズせずに学習できました。

②ライブラリーの競合を無視する設定を施したうえでJupyter_notebookにて実行する。
→2行のコード追加でフリーズしなくなりました。

from ultralytics import YOLO
import os #←追加
os.environ['KMP_DUPLICATE_LIB_OK']='TRUE' #←追加

model = YOLO("yolov8n.pt")
results = model.train(data="dataset.yaml", epochs=1, batch=1, imgsz=640)
results = model.val()

参考元：
https://propen.dream-target.jp/blog/keras-tensorflow-fit-error