pythonでTHCudaChech FAILが出ています。

前提・実現したいこと

ここに質問の内容を詳しく書いてください。

大学の研究で人からもらったプログラムを実行する際に置きました。

発生している問題・エラーメッセージ

THCudaCheck FAIL

Traceback (most recent call last):
  File "./main6.py2", line 461, in <module>
    main()
  File "./main6.py2", line 437, in main
    writer)
  File "./main6.py2", line 186, in train
    loss.backward()
  File "/home/name/.pyenv/versions/anaconda3-2021.05/envs/py366copy/lib/python3.6/site-packages/torch/tensor.py", line 185, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/home/name/.pyenv/versions/anaconda3-2021.05/envs/py366copy/lib/python3.6/site-packages/torch/autograd/__init__.py", line 127, in backward
    allow_unreachable=True)  # allow_unreachable flag

RuntimeError: cuda runtime error (710) : device-side assert triggered at /opt/conda/conda-bld/pytorch_1595629427286/work/aten/src/THC/generic/THCTensorMath.cu:29

RuntimeError: cuda runtime error (710) : device-side assert triggered at /opt/conda/conda-bld/pytorch_1595629427286/work/aten/src/THC/generic/THCTensorMath.cu:29

該当のソースコード

pythonで行っていますが、頂いた人の環境では動くためソースコードの問題ではないと思います。

試したこと

先輩に解決法を聞いたり、このエラーについて調べたのですが、具体的な解決策が提案されませんでした。

補足情報（FW/ツールのバージョンなど）

python3.6.0
pytorch1.6.0 cuda10.2でインストール
cuda11.3
ここにより詳細な情報を記載してください。
このエラーの解決法を知っている方がいたら教えて頂きたいです。
研究の引継ぎなのでプログラム自体に問題は無いと思うので、環境構築等の間違いなのかもしれませんがアドバイスいただけますと幸いです。

jbpb0

2021/07/03 06:27

> pytorch1.6.0 cuda10.2でインストール cuda11.3 は、実際にパソコンにインストールしてるCUDAは11なのに、PyTorchはCUDA 10用のをインストールした、という意味ですか？

inkyakirai

2021/07/03 07:18

そういう意味です。cudaを管理しているのは教授でこのやり方でやってほしいと言われました。

jbpb0

2021/07/03 07:24

> 頂いた人の環境では動く動く環境も、そんなへんてこりんな組み合わせなのですか？

jbpb0

2021/07/03 12:18

> RuntimeError: cuda runtime error (710) ... よりも上の方に、おそらく「Traceback」と書かれているところがあると思いますその「Traceback」以降に表示されてることを全部書いてくれた方が、現象を分析しやすいですただし、GPUの処理は非同期なので、現状で「Traceback」以降に表示されてることがエラーの原因ではないかもしれませんそこで、下記のようにする方がいいようです・GPUを使わずCPUのみでの実行でもエラーになるなら、その時の「Traceback」以降に表示されてることを参照する・CPUのみの実行ではエラーにならないなら、環境変数「CUDA_LAUNCH_BLOCKING」を CUDA_LAUNCH_BLOCKING=1 に設定した状態でGPUを使って実行して、その時の「Traceback」以降に表示されてることを参照する参考 https://discuss.pytorch.org/t/runtimeerror-cuda-runtime-error-710-device-side-assert-triggered-at-pytorch-aten-src-thc-generic-thctensormath-cu-26/73167 のptrblckさんの最初のコメント

inkyakirai

2021/07/04 03:07

ご返答ありがとうございます。　Tracebackに記載してあったことを追記しました。動く人の環境もそのような環境だと思います。プログラムファイルが6つあるのですがそのうちの4つは動いているので、そこが悪さをしているわけではないかと思いました。 GPU処理の同期を行う際に問題があるかもしれないとのことで、CPUのみで実行する方法を試してみたいと思うのですが、初心者のため、やり方が分からなく教えて頂けると幸いです。

jbpb0

2021/07/04 04:17

> GPU処理の同期を行う際に問題があるかもそうではないです同期させないと、Tracebackの記載があてにならないかも、ということです非同期だからエラーになってるのではないです

jbpb0

2021/07/05 00:00 編集

> CPUのみで実行する方法を試してみたい現状のコードで、「cuda」にモデルやデータを送っているところを全部、送り先を「cpu」に変えればいいはずです具体的な変更方法は、コードの書き方によって違います https://stackoverflow.com/questions/62907815/pytorch-what-is-the-difference-between-tensor-cuda-and-tensor-totorch-device を見てください一つ目のAnswerの下のコード例のように、 device = torch.device('cuda') if cuda_available else torch.device('cpu') みたいな行があって、他のところでそれを model.to(device) みたいに利用してる場合は、 device =…の行を device = torch.device('cpu') みたいに変えるだけで、GPUを使わなくなりますそうではなく、二つ目のAnswerの表に書いてあるどれかのような書き方で、コード内のあちこちに「cuda」と書いてる場合は、それぞれを全部書き直す必要があります表の一番左に「CPU」と書いてある行の書き方に変えます