/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108というエラーについて

先日も投稿させていただいたものです。大学の研究で人のプログラムを引き継いでいるのですが、以下のようなエラーが出て、一向に解決する気配がございません。おそらく、損失関数の部分にエラーがあるのかもしれないという推測はついたのですが、初学者のため、対処が分からず困惑しております。

/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [0,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [1,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [2,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [3,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [4,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [5,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [6,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [7,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [8,0,0] Assertion `t >= 0 && t < n_classes` failed.
/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [9,0,0] Assertion `t >= 0 && t < n_classes` failed.
Traceback (most recent call last):
  File "main_5.py", line 442, in <module>
    main()
  File "main_5.py", line 418, in main
    writer)
  File "main_5.py", line 186, in train
    loss.backward()
  File "/home/name/.pyenv/versions/anaconda3-4.4.0/envs/py2/lib/python3.6/site-packages/torch/tensor.py", line 185, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/home/name/.pyenv/versions/anaconda3-4.4.0/envs/py2/lib/python3.6/site-packages/torch/autograd/__init__.py", line 127, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: cuda runtime error (710) : device-side assert triggered at /pytorch/aten/src/THC/generic/THCTensorMath.cu:29

のようなエラーが出ています。エラーの方向性が分かりましたら、身内のものと相談するので大まかなエラー原因と対処法をお聞きしたいです。

備考
anaconda4-4.0.0
python3.6.6
torch1.6.0
cuda10.1
の環境で動かしています。

jbpb0

2021/07/09 21:45 編集

Tracebackは、環境変数「CUDA_LAUNCH_BLOCKING」を CUDA_LAUNCH_BLOCKING=1 に設定した状態で実行した時のものでしょうか？もしそうでないなら、コードの一番最初に下記を追加してから実行した時のTracebackを質問に載せてください import os os.environ['CUDA_LAUNCH_BLOCKING'] = "1" https://teratail.com/questions/347443 の「質問への追記・修正の依頼」にも書きましたけど、GPUは普通は非同期で動いてるので、上記のように設定して強制的に同期させないと、Tracebackがエラーの原因を示さない場合が多いのです参考 https://torch.classcat.com/2018/05/25/pytorch-docs-notes-cuda/ の「非同期実行」 https://lernapparat.de/debug-device-assert/

lazykyama

2021/07/12 12:51

``` Assertion `t >= 0 && t < n_classes` failed ``` このメッセージを素直に読むと、ラベルとして意図せず大きな値が与えられているか、負の値が入っているように思われます。想定しているクラス数と、実際に渡されている値の最小値及び最大値について追記いただくことは可能でしょうか？