CUDNN_STATUS_INTERNAL_ERRORを解消したい

#問題点
参考にしているサイトでローカル環境でyolov5を学習しているのですが、モデルに学習させる部分（train.py）で
[RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR]
とcuDNNの部分でエラーが表示されます。
素人質問で申し訳ございませんが対処法を教えていただけると幸いです。

#エラー内容

     Epoch   gpu_mem       box       obj       cls    labels  img_size
  0%|                                                                                           | 0/14 [00:00<?, ?it/s]fatal   : Memory allocation failure
  0%|                                                                                           | 0/14 [00:01<?, ?it/s]
Traceback (most recent call last):
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\train.py", line 602, in <module>
    main(opt)
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\train.py", line 500, in main
    train(opt.hyp, opt, device)
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\train.py", line 317, in train
    pred = model(imgs)  # forward
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\module.py", line 1051, in _call_impl
    return forward_call(*input, **kwargs)
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\models\yolo.py", line 123, in forward
    return self.forward_once(x, profile, visualize)  # single-scale inference, train
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\models\yolo.py", line 155, in forward_once
    x = m(x)  # run
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\module.py", line 1051, in _call_impl
    return forward_call(*input, **kwargs)
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\models\common.py", line 205, in forward
    return self.conv(torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1))
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\module.py", line 1051, in _call_impl
    return forward_call(*input, **kwargs)
  File "C:\Users\hasebe\YOLO\yolov5_mask\yolov5\models\common.py", line 44, in forward
    return self.act(self.bn(self.conv(x)))
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\module.py", line 1051, in _call_impl
    return forward_call(*input, **kwargs)
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\conv.py", line 443, in forward
    return self._conv_forward(input, self.weight, self.bias)
  File "C:\Users\hasebe\YOLO\yolov5_kinoko\yolov5\venv-yolov5\lib\site-packages\torch\nn\modules\conv.py", line 439, in _conv_forward
    return F.conv2d(input, weight, bias, self.stride,
RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

#背景
CUDAとcuDNNは以下のサイトでインストールしました。
リンク内容

問題点の部分で記載した参考にしているサイトに合わせて

CUDAは

cuDNNは

をインストールしました。

PyTorchは以下のものをインストールしました。

#確認事項
CUDAとcuDNNはコマンドプロンプトで確認済みです。

pytorchも確認できました。

jbpb0

2021/08/28 11:33

GPUの処理は非同期なので、現状で「Traceback」以降に表示されてることがエラーの原因ではないかもしれませんそこで、下記のようにする方がいいようです・GPUを使わずCPUのみでの実行でもエラーになるなら、その時の「Traceback」以降に表示されてることを参照する・CPUのみの実行ではエラーにならないなら、コードの一番最初に下記を追加してからGPUを使って実行して、その時の「Traceback」以降に表示されてることを参照する import os os.environ['CUDA_LAUNCH_BLOCKING'] = "1" 参考 https://torch.classcat.com/2018/05/25/pytorch-docs-notes-cuda/ の「非同期実行」 https://lernapparat.de/debug-device-assert/ https://discuss.pytorch.org/t/runtimeerror-cuda-runtime-error-710-device-side-assert-triggered-at-pytorch-aten-src-thc-generic-thctensormath-cu-26/73167 のptrblckさんの最初のコメント

kodai0505

2021/08/29 03:06

返信いただき誠にありがとうございます！たった2文を入れるだけで成功することができました！お忙しいところご教授いただき誠にありがとうございます！

jbpb0

2021/08/29 03:23

os.environ['CUDA_LAUNCH_BLOCKING'] = "1" を設定すると、たぶん遅くなります本来は、これを指定しなくてもエラーが出ないようにしないといけないのです https://farml1.com/yolov5/#toc3 の「YOLOv5の仮想環境設定」には「最新バージョンだとうまく動かず。v1.7.1であればOKでした。」と書かれてるので、PyTorchのバージョンを1.9.0から1.7.1に変えたら直るかも

kodai0505

2021/08/29 05:47

pip3で1.7.1に変えたのですが、エラーが返されました。 (venv-yolov5) C:\Users\hasebe kodai\YOLO\yolov5_hand>pip3 install torch==1.7.1+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html Looking in links: https://download.pytorch.org/whl/torch_stable.html ERROR: Could not find a version that satisfies the requirement torch==1.7.1+cu111 (from versions: 0.1.2, 0.1.2.post1, 0.1.2.post2, 1.4.0, 1.4.0+cpu, 1.4.0+cu92, 1.5.0, 1.5.0+cpu, 1.5.0+cu101, 1.5.0+cu92, 1.5.1, 1.5.1+cpu, 1.5.1+cu101, 1.5.1+cu92, 1.6.0, 1.6.0+cpu, 1.6.0+cu101, 1.7.0, 1.7.0+cpu, 1.7.0+cu101, 1.7.0+cu110, 1.7.1, 1.7.1+cpu, 1.7.1+cu101, 1.7.1+cu110, 1.8.0, 1.8.0+cpu, 1.8.0+cu101, 1.8.0+cu111, 1.8.1, 1.8.1+cpu, 1.8.1+cu101, 1.8.1+cu102, 1.8.1+cu111, 1.9.0, 1.9.0+cpu, 1.9.0+cu102, 1.9.0+cu111) ERROR: No matching distribution found for torch==1.7.1+cu111 WARNING: You are using pip version 20.1.1; however, version 21.2.4 is available. You should consider upgrading via the 'c:\users\hasebe kodai\yolo\yolov5_venv\venv-yolov5\scripts\python.exe -m pip install --upgrade pip' command.

jbpb0

2021/08/29 12:38 編集

> 1.7.1+cu101, 1.7.1+cu110 が、ありますよ CUDAのバージョンも、それに合うのを入れる必要がありますけど https://pytorch.org/get-started/previous-versions/#linux-and-windows-3 の「v1.7.1」の「Wheel」の「Linux and Windows」

kodai0505

2021/08/30 02:33

具体的にCUDAとcuDNNのバージョンを教えていただけると助かります。出来れば確認の仕方を教えていただけると幸いです。

jbpb0

2021/08/30 03:08 編集

> 具体的にCUDAとcuDNNのバージョンを > 確認の仕方ですから、上に書いた通り、 https://pytorch.org/get-started/previous-versions/#linux-and-windows-3 の「v1.7.1」の「Wheel」の「Linux and Windows」のところに書いてあるCUDAのバージョンですよ今見たら9.2, 10.1, 10.2, 11.0って書いてあるから、そこから選んでCUDAを入れて、pip install...コマンドもそこに書いてあるので、その通りに実行したらインストールできるのではないですかね cuDNNに付いては、ざっと見たところ何も書かれてないようなので、上記から選んだCUDAバージョンに対応するものを選んだら、どれでもいいのではないですかね