常連

以下のプログラムは途中までのものですが、google colabだと動いたのですが、会社のGPUを積んだマシンだとエラーがでました。エラーが出た原因が知りたいです。
動かしたプログラム
#####
```ここに言語を入力
import gym
from creversi.gym_reversi.envs import ReversiVecEnv
from creversi import *

import os
import datetime
import math
import random
import numpy as np
from collections import namedtuple
from itertools import count
from tqdm import tqdm_notebook as tqdm
import matplotlib.pyplot as plt

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

BATCH_SIZE = 256

vecenv = ReversiVecEnv(BATCH_SIZE)

# if gpu is to be used
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

######################################################################
# Replay Memory

Transition = namedtuple('Transition',
                        ('state', 'action', 'next_state', 'next_actions', 'reward'))


class ReplayMemory(object):

    def __init__(self, capacity):
        self.capacity = capacity
        self.memory = []
        self.position = 0

    def push(self, *args):
        """Saves a transition."""
        if len(self.memory) < self.capacity:
            self.memory.append(None)
        self.memory[self.position] = Transition(*args)
        self.position = (self.position + 1) % self.capacity

    def sample(self, batch_size):
        return random.sample(self.memory, batch_size)

    def __len__(self):
        return len(self.memory)

######################################################################
# DQN

k = 192
fcl_units = 256
class DQN(nn.Module):

    def __init__(self):
        super(DQN, self).__init__()
        self.conv1 = nn.Conv2d(2, k, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(k)
        self.conv2 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(k)
        self.conv3 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn3 = nn.BatchNorm2d(k)
        self.conv4 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn4 = nn.BatchNorm2d(k)
        self.conv5 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn5 = nn.BatchNorm2d(k)
        self.conv6 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn6 = nn.BatchNorm2d(k)
        self.conv7 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn7 = nn.BatchNorm2d(k)
        self.conv8 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn8 = nn.BatchNorm2d(k)
        self.conv9 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn9 = nn.BatchNorm2d(k)
        self.conv10 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn10 = nn.BatchNorm2d(k)
        self.fcl1 = nn.Linear(k * 64, fcl_units)
        self.fcl2 = nn.Linear(fcl_units, 65)

    def forward(self, x):
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.relu(self.bn3(self.conv3(x)))
        x = F.relu(self.bn4(self.conv4(x)))
        x = F.relu(self.bn5(self.conv5(x)))
        x = F.relu(self.bn6(self.conv6(x)))
        x = F.relu(self.bn7(self.conv7(x)))
        x = F.relu(self.bn8(self.conv8(x)))
        x = F.relu(self.bn9(self.conv9(x)))
        x = F.relu(self.bn10(self.conv10(x)))
        x = F.relu(self.fcl1(x.view(-1, k * 64)))
        x = self.fcl2(x)
        return x.tanh()

def get_states(envs):
    features_vec = np.zeros((BATCH_SIZE, 2, 8, 8), dtype=np.float32)
    for i, env in enumerate(envs):
        env.board.piece_planes(features_vec[i])
    return torch.from_numpy(features_vec).to(device)
```
この最後のreturn torch.from_numpy(features_vec).to(device)のところで、、google colabでは
エラーが出ないのですが、会社のGPUを積んだLinuxだと
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
というエラーがでます。ググったりして調べたのですが、原因が分かりませんでした。
会社のGPUの環境は、下記の通りです。
-bash-4.2$ lspci | grep -i nvidia
3b:00.0 VGA compatible controller: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti] (rev a1)
3b:00.1 Audio device: NVIDIA Corporation TU102 High Definition Audio Controller (rev a1)
3b:00.2 USB controller: NVIDIA Corporation TU102 USB 3.1 Host Controller (rev a1)
3b:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU102 USB Type-C UCSI Controller (rev a1)
af:00.0 VGA compatible controller: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] (rev a1)
af:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)

ご教示いただけますと幸いです。
何卒、よろしくお願い申し上げます。

強化学習でRuntimeError: CUDA error: out of memoryが出る

### 前提・実現したいこと
pytorchを使った学習を行いたいがmat1 and mat2 shapes cannot be multipliedとエラーが出る

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "C:~~~/test.py", line 52, in <module>
    output=net(input)
  File "C:~~~\module.py", line 727, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:~~~/test.py", line 30, in forward
    x = F.relu(self.fc1(x))
  File "C:~~~\module.py", line 727, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:~~~\linear.py", line 93, in forward
    return F.linear(input, self.weight, self.bias)
  File "C:~~~\functional.py", line 1690, in linear
    ret = torch.addmm(bias, input, weight.t())
RuntimeError: mat1 and mat2 shapes cannot be multiplied (1x400 and 576x120)

```

### 該当のソースコード

```ここに言語名を入力
class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()
        self.conv1=nn.Conv2d(1,6,3)
        self.conv2=nn.Conv2d(6,16,3)
        self.fc1=nn.Linear(16*6*6,120)
        self.fc2=nn.Linear(120,84)
        self.fc3=nn.Linear(84,10)

    def forward(self,x):
        x=F.max_pool2d(F.relu(self.conv1(x)),(2,2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features

net = Net()
print(net)


input=torch.randn(1,1,28,28)
print(input)
output=net(input)
print('output', output)
target=torch.randn(10)
print('target',target)
target=target.view(1,-1)
criterion  = nn.MSELoss()
```

### 試したこと

参考にしたコードではinput = torch.randn(1, 1, 32, 32)となっていたものをinput = torch.randn(1, 1, 28, 28)としたところエラーが表示されるようになりました。
エラー内容からすると行列の形が合わないということだと思うのですが1x400の部分が理解できません。576x120は(16*6*6,120)から理解できますが、1x400の部分は28x28で1x784になると思ったのですがなぜエラーメッセージのようになるのでしょうか。

### 補足情報（FW/ツールのバージョンなど）

Python 3.7.9
torch   1.7.1

pytorchを使った学習を行いたいがmat1 and mat2 shapes cannot be multipliedとエラーが出る

### 実現したいこと
Tacotron2を用いて自分の声で文章を読ませるプログラムを作成したいと思っています。そのために、Tacotron2を導入しようと考えています。環境は、AnacondaのJupyterLabを使っています

### 発生している問題・分からないこと
Tacotron2を導入するために以下のコマンドを実行します。

```Python
! git clone https://github.com/NVIDIA/tacotron2
! git submodule init; git submodule update
! pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
! git clone https://github.com/nvidia/apex

import os
os.chdir('apex')
```
ここまでは上手く動作します。そして次のコマンドで問題は発生します。
```Python
$ pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
```
エラー内容は以下の通りとなります。
```エラー内容
ModuleNotFoundError: No module named 'torch'
```
torchが見つからないそうです。
しかし、
```ここに言語を入力
!pip install torch
```
を実行すると、
```ここに言語を入力
Requirement already satisfied:
```
と普通にtorchはインストールされています。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-10-14/560d806e-a23c-47fe-8d0e-86baf39e3208.png)
しかし、何故か上記のような「torchが見つからない」というエラーが出てしまいます。

### エラーメッセージ
```error
```エラー内容
Using pip 22.3.1 from C:\Users\takespring\anaconda3\lib\site-packages\pip (python 3.10)
Processing c:\users\takespring\source\anaconda_python_study\tacotron2_study\apex
  Installing build dependencies: started
  Installing build dependencies: finished with status 'done'
  Getting requirements to build wheel: started
  Getting requirements to build wheel: finished with status 'error'
WARNING: Implying --no-binary=:all: due to the presence of --build-option / --global-option / --install-option. Consider using --config-settings for more flexibility.
DEPRECATION: --no-binary currently disables reading from the cache of locally built wheels. In the future --no-binary will not influence the wheel cache. pip 23.1 will enforce this behaviour change. A possible replacement is to use the --no-cache-dir option. You can use the flag --use-feature=no-binary-enable-wheel-cache to test the upcoming behaviour. Discussion can be found at https://github.com/pypa/pip/issues/11453
  Running command pip subprocess to install build dependencies
  DEPRECATION: --no-binary currently disables reading from the cache of locally built wheels. In the future --no-binary will not influence the wheel cache. pip 23.1 will enforce this behaviour change. A possible replacement is to use the --no-cache-dir option. You can use the flag --use-feature=no-binary-enable-wheel-cache to test the upcoming behaviour. Discussion can be found at https://github.com/pypa/pip/issues/11453
  Collecting setuptools
    Using cached setuptools-75.1.0.tar.gz (1.3 MB)
    Getting requirements to build wheel: started
    Getting requirements to build wheel: finished with status 'done'
    Preparing metadata (pyproject.toml): started
    Preparing metadata (pyproject.toml): finished with status 'done'
  Collecting wheel
    Using cached wheel-0.44.0.tar.gz (100 kB)
    Installing build dependencies: started
    Installing build dependencies: finished with status 'done'
    Getting requirements to build wheel: started
    Getting requirements to build wheel: finished with status 'done'
    Preparing metadata (pyproject.toml): started
    Preparing metadata (pyproject.toml): finished with status 'done'
  Building wheels for collected packages: wheel, setuptools
    Building wheel for wheel (pyproject.toml): started
    Building wheel for wheel (pyproject.toml): finished with status 'done'
    Created wheel for wheel: filename=wheel-0.44.0-py3-none-any.whl size=67059 sha256=79b3427c1f582be3c4102c06d28c196d1b9815870f25d2f431c864fd160b2072
    Stored in directory: c:\users\takespring\appdata\local\pip\cache\wheels\39\7d\c2\27f9739db1d0af92c01bc1219b8ee6601d4229aa88b3a4ec45
    Building wheel for setuptools (pyproject.toml): started
    Building wheel for setuptools (pyproject.toml): finished with status 'done'
    Created wheel for setuptools: filename=setuptools-75.1.0-py3-none-any.whl size=1248534 sha256=a0b46c01c145e0713677ca5495b22515f133a86c208a0dc23757cced1f7c9b43
    Stored in directory: c:\users\takespring\appdata\local\pip\cache\wheels\d0\c1\3b\a0bc89d43586b8e15a4c99d36be536ba6705da7668c04772c0
  Successfully built wheel setuptools
  Installing collected packages: wheel, setuptools
  Successfully installed setuptools-75.1.0 wheel-0.44.0
  Running command Getting requirements to build wheel
  Traceback (most recent call last):
    File "C:\Users\takespring\anaconda3\lib\site-packages\pip\_vendor\pep517\in_process\_in_process.py", line 351, in <module>
      main()
    File "C:\Users\takespring\anaconda3\lib\site-packages\pip\_vendor\pep517\in_process\_in_process.py", line 333, in main
      json_out['return_val'] = hook(**hook_input['kwargs'])
    File "C:\Users\takespring\anaconda3\lib\site-packages\pip\_vendor\pep517\in_process\_in_process.py", line 118, in get_requires_for_build_wheel
      return hook(config_settings)
    File "C:\Users\takespring\AppData\Local\Temp\pip-build-env-v4gn59cg\overlay\Lib\site-packages\setuptools\build_meta.py", line 332, in get_requires_for_build_wheel
      return self._get_build_requires(config_settings, requirements=[])
    File "C:\Users\takespring\AppData\Local\Temp\pip-build-env-v4gn59cg\overlay\Lib\site-packages\setuptools\build_meta.py", line 302, in _get_build_requires
      self.run_setup()
    File "C:\Users\takespring\AppData\Local\Temp\pip-build-env-v4gn59cg\overlay\Lib\site-packages\setuptools\build_meta.py", line 318, in run_setup
      exec(code, locals())
    File "<string>", line 10, in <module>
  ModuleNotFoundError: No module named 'torch'
  error: subprocess-exited-with-error
  
  Getting requirements to build wheel did not run successfully.
  exit code: 1
  
  See above for output.
  
  note: This error originates from a subprocess, and is likely not a problem with pip.
  full command: 'C:\Users\takespring\anaconda3\python.exe' 'C:\Users\takespring\anaconda3\lib\site-packages\pip\_vendor\pep517\in_process\_in_process.py' get_requires_for_build_wheel 'C:\Users\TAKESP~1\AppData\Local\Temp\tmpuwbupcak'
  cwd: C:\Users\takespring\source\anaconda_python_study\tacotron2_study\apex
error: subprocess-exited-with-error

Getting requirements to build wheel did not run successfully.
exit code: 1

See above for output.

note: This error originates from a subprocess, and is likely not a problem with pip.
```
```

### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
[https://github.com/NVIDIA/apex/issues/1823
](url)
このサイトで同じ問題を見つけましたが、解決はしなかったです。

### 補足
特になし

Tacotron2環境構築でApexがインストールできない：ModuleNotFoundError: No module named 'torch'

### 実現したいこと
複数の3次元点群を、それぞれある位置中心にモデルのパラメータであるクォータニオンによって回転させ、返すモデルを作成しました。そして、このモデルを用いて、入力である複数の3次元点群がモデル点群に近づくよう教師あり機械学習させ、パラメータであるクォータニオンを推定しようとしています。損失関数は2つの3次元点群の距離を計算するChamfer distanceを用います。また、入力する3次元点群は列になって並んでおり、Chamfer distanceが最小になるよう自由に最適化をするとモデル点群の一箇所に集中してしまい、所望の結果から異なる結果になってしまいます。そのため、隣り合う3次元点群の回転の差は小さいことを最適化の制約条件（ペナルティ項）として損失関数に加えます。このペナルティ項はモデルのパラメータである各点群の回転を示すクォータニオンから、隣接するクォータニオンを抽出し相対回転の回転角（ロドリゲスの回転公式）で計算しようとしています。

文字情報だけだと分かりづらいと思いますので、イメージ図を添付いたします。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-10-08/2f14b8f0-fedc-4310-a2a5-503134a08939.png)

### 発生している問題・分からないこと
しかし、ペナルティ項の計算の際にモデルのパラメータであるクォータニオンに勾配が通らない問題が発生しています。この問題を解決して、先述したことを実現したいです。

作成したコードは次の通りで、ChatGPTに質問しながら作成しました。



### 該当のソースコード

```python
import numpy as np
import open3d as o3d
import math
import torch
from torch import nn
from pytorch3d.transforms import quaternion_to_matrix
from pytorch3d.transforms import quaternion_multiply

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

class Estimate_Param(nn.Module):
    def __init__(self, num):
        super().__init__()
        self.num = num
        self.q = nn.Parameter(torch.tensor([1.0, 0.0, 0.0, 0.0], requires_grad=True).repeat(num, 1))

    def rotation_matrix_to_axis_angle(self, R):
        # 回転角を計算
        trace_R = torch.trace(R).to(device)
        theta = torch.acos((trace_R - 1) / 2).to(device)
        # 回転軸を計算 (正規化)
        vx = R[2, 1] - R[1, 2]
        vy = R[0, 2] - R[2, 0]
        vz = R[1, 0] - R[0, 1]
        
        axis = torch.tensor([vx, vy, vz])
        axis = axis / torch.norm(axis)  # 正規化
        
        return axis, theta
    
    def forward(self, pcd_list, scan_pos_list):
        output_list = []
        axis_list = []
        angle_list = []
        for i in range(self.num):
            pcd_i = pcd_list[i]
            scan_i = scan_pos_list[i]

            pcd_i_translated = pcd_i - scan_i
            # pcd_i_translated を float32 にキャスト
            pcd_i_translated = pcd_i_translated.float()

            q = self.q[i] / torch.norm(self.q[i])
            rotation_matrix = quaternion_to_matrix(q.unsqueeze(0)).squeeze(0)
            pcd_i_rotated_q = torch.matmul(pcd_i_translated, rotation_matrix.T)

            transformed_data = pcd_i_rotated_q + scan_i

            output_list.append(transformed_data)
            axis, angle = self.rotation_matrix_to_axis_angle(rotation_matrix)
            axis_list.append(axis)
            angle_list.append(angle)

        return output_list, axis_list, angle_list

# 相対回転角を計算する関数
from pytorch3d.transforms import quaternion_multiply
def relative_rotation_angle(q1, q2):
    # q1とq2の相対クォータニオンを計算 (q1の逆数とq2の積)
    q1_inv = torch.tensor([q1[0], -q1[1], -q1[2], -q1[3]])
    q_rel = quaternion_multiply(q1_inv, q2)

    # 相対回転角を計算
    theta = 2 * torch.acos(q_rel[0].clamp(-1.0, 1.0))
    # クランプして数値範囲を保つ
    return theta

# クォータニオンリストから全ての相対回転角を計算
def calculate_penalty(model_q):
    num = model_q.size(0)
    penalty = torch.tensor(0.0, device=device)

    # 隣接するクォータニオン間の相対回転角を計算
    for i in range(1, num):
        q1 = model_q[i - 1] / torch.norm(model_q[i - 1])
        q2 = model_q[i] / torch.norm(model_q[i])
        theta = relative_rotation_angle(q1, q2)
        penalty += theta

    return penalty

model = Estimate_Param(num=num_lines).to(device=device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# モデルへの入力データ
input_pcd_list = "列に並んだ複数の3次元点群座標が入ったtorch.tensorを格納するlist. [torch.tensor(N_1, 3), torch.tensor(N_2, 3), ..., torch.tensor(N_n, 3)]"
input_scan_list = "input_pcd_listの各3次元点群のクォータニオンで回転する際の回転中心位置が入ったtorch.tensor. torch.tensor(n, 3)"
# 損失関数計算の際に用いるモデル点群
target = "モデル点群の座標が入ったtorch.tensor.detach(). モデル点群座標が学習ごとに変化してはいけないのでdetachしている"

iteration = 100
for epoch in range(iteration):
    optimizer.zero_grad()
    output_list, axis_list, angle_list = model(input_pcd_list, input_scan_pos_list)
    sum_AB = 0
    # penalty = torch.tensor(0.0, device=device)
    for i in range(num_lines):
        output = output_list[i]
        chamfer_loss, chamfer_AB, chamfer_BA = Chamfer_distance(output, target)
        sum_AB += chamfer_AB
    penalty = calculate_penalty(model.q)
    
    loss = sum_AB + penalty
    loss.backward()
    optimizer.step()
    torch.cuda.empty_cache()
    print(epoch + 1)
    print("model.q.grad", model.q.grad)
    print("loss", loss.item())
    print("chamfer_AB", sum_AB.item())
    print("penalty", penalty.item())
```

### 試したこと・調べたこと
- [ ] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
まず、コード最後にあるようにlossが正しく計算されているか、model.qに勾配が通っているか確認すると、以下のようになりました。

1
model.q.grad : tensor([[  0.0000, 179.8098, -61.2189, -86.0011],
        [     nan,      nan,      nan,      nan],
        [     nan,      nan,      nan,      nan],
　　　・・・
        [     nan,      nan,      nan,      nan]], device='cuda:0')
loss : 131.84036254882812
chamfer_AB : 131.84036254882812
penalty : 0.0
2
model.q.grad : tensor([[  -5.8747, -140.5616,  204.2349,  242.6726],
        [      nan,       nan,       nan,       nan],
        [      nan,       nan,       nan,       nan],
　　　・・・
        [      nan,       nan,       nan,       nan]], device='cuda:0')
loss : nan
chamfer_AB : nan
penalty : nan
3
model.q.grad : tensor([[  -1.2400, -177.3816,  -70.0906,  -59.6504],
        [      nan,       nan,       nan,       nan],
        [      nan,       nan,       nan,       nan],
　　　・・・
        [      nan,       nan,       nan,       nan]], device='cuda:0')
loss : nan
chamfer_AB : nan
penalty : nan
・・・

次に、loss = sum_ABとし、penalty項をlossに含めなかったところ

1
model.q.grad : tensor([[ 0.0000e+00,  1.7981e+02, -6.1219e+01, -8.6001e+01],
        [ 0.0000e+00,  1.6622e+02, -9.8284e+01, -1.2649e+02],
        [ 0.0000e+00,  8.4467e+01, -2.0669e+02, -2.4092e+02],
　　　・・・
        [ 0.0000e+00, -3.1394e+01,  2.8565e+01,  2.5363e+01]], device='cuda:0')
loss : 131.9658660888672
chamfer_AB : 131.9658660888672
penalty : 0.0
2
model.q.grad : tensor([[-5.8747e+00, -1.4056e+02,  2.0423e+02,  2.4267e+02],
        [-7.7819e+00, -5.0197e+02,  1.0464e+02,  1.7157e+02],
        [-3.8115e+00, -2.3785e+02,  5.6516e+01,  8.6785e+01],
　　　・・・
        [-1.7411e+00,  7.6988e+01, -5.1253e+01, -4.5868e+01]], device='cuda:0')
loss : 698.0641479492188
chamfer_AB : 698.0641479492188
penalty : 6.798530578613281
3
model.q.grad : tensor([[-1.2400e+00, -1.7738e+02, -7.0091e+01, -5.9650e+01],
        [-1.9538e+00, -2.1566e+02,  3.8415e+01,  6.6295e+01],
        [ 4.0716e+00, -3.6200e+02, -2.1852e+02, -2.0509e+02],
        [ 2.4014e-01, -5.5282e+01, -7.5611e+00, -2.7705e+00]], device='cuda:0')
loss : 238.53053283691406
chamfer_AB : 238.53053283691406
penalty : 5.056334018707275
・・・
というようにlossの計算ができました。原因はpenalty項にあることは分かりましたが、model.q[0]のみ勾配が通りその他がnanになる原因が分かりません。アドバイスよろしくお願いいたします。

### 補足
ご回答にイメージ図を追加してほしいとあったので追記いたします。
1枚目が実現したいことを図示したもので、
![実現したいこと](https://ddjkaamml8q8x.cloudfront.net/questions/2024-10-08/4f1c9aa3-fef9-41c0-87f2-9343f541a477.png)
2枚目が補足説明したものになります。
![補足説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-10-08/56e58c23-23a2-4de0-b6ab-85952bdd3542.png)

クォータニオンから回転行列, 回転軸, 回転角の計算の際に勾配が通らない

### 実現したいこと
stable-audio-open 1.0を使う際に、GPUを使って実行したい。

### 発生している問題・分からないこと
stable-audio-openのコードを実行すると、下記のようにGPUが使えていないことがわかりました。
これをGPUを使えるようにしたいです。

### エラーメッセージ
```error
PS C:\Users\kisk6\試験用> & C:/Users/kisk6/stable-audio/Scripts/python.exe c:/Users/kisk6/試験用/1.py
C:\Users\kisk6\stable-audio\Lib\site-packages\x_transformers\x_transformers.py:435: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
C:\Users\kisk6\stable-audio\Lib\site-packages\x_transformers\x_transformers.py:461: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
No module named 'flash_attn'
flash_attn not installed, disabling Flash Attention
C:\Users\kisk6\stable-audio\Lib\site-packages\stable_audio_tools\models\transformer.py:126: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
C:\Users\kisk6\stable-audio\Lib\site-packages\stable_audio_tools\models\transformer.py:151: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
C:\Users\kisk6\stable-audio\Lib\site-packages\vector_quantize_pytorch\vector_quantize_pytorch.py:436: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
C:\Users\kisk6\stable-audio\Lib\site-packages\vector_quantize_pytorch\vector_quantize_pytorch.py:619: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  @autocast(enabled = False)
C:\Users\kisk6\stable-audio\Lib\site-packages\torch\nn\utils\weight_norm.py:134: FutureWarning: `torch.nn.utils.weight_norm` is deprecated in favor of `torch.nn.utils.parametrizations.weight_norm`.
  WeightNorm.apply(module, name, dim)
412692056
C:\Users\kisk6\stable-audio\Lib\site-packages\stable_audio_tools\models\conditioners.py:314: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  with torch.cuda.amp.autocast(dtype=torch.float16) and torch.set_grad_enabled(self.enable_grad):
C:\Users\kisk6\stable-audio\Lib\site-packages\torch\amp\autocast_mode.py:265: UserWarning: User provided device_type of 'cuda', but CUDA is not available. Disabling
  warnings.warn(
C:\Users\kisk6\stable-audio\Lib\site-packages\stable_audio_tools\inference\sampling.py:177: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.
  with torch.cuda.amp.autocast():
  0%|                                                                                                                                | 0/100 [00:00<?, ?it/s]C:\Users\kisk6\stable-audio\Lib\site-packages\torchsde\_brownian\brownian_interval.py:608: UserWarning: Should have tb<=t1 but got tb=500.00006103515625 and t1=500.000061.
  warnings.warn(f"Should have {tb_name}<=t1 but got {tb_name}={tb} and t1={self._end}.")      
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 98/100 [1:06:42<01:21, 40.73s/it]C:\Users\kisk6\stable-audio\Lib\site-packages\torchsde\_brownian\brownian_interval.py:599: UserWarning: Should have ta>=t0 but got ta=0.29999998211860657 and t0=0.3.
  warnings.warn(f"Should have ta>=t0 but got ta={ta} and t0={self._start}.")
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [1:08:03<00:00, 40.84s/it]
```

### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
下記のコードと実行結果より、CUDAが使えていないため、GPUが使えていないことがわかりました。（このとき、CUDA12.4をダウンロードしていました。）
```python
>>> import torch
>>> print(torch.cuda.is_available())
False
```
使っているGPUは、NVIDIA GeForce RTX 4060 Ti のバージョン32.0.15.6070です。
NVIDIAのホームページで調べると、CUDA12.6が対応しているそうなので、CUDA12.6をインストールしました。
そしてPytorchをインストールしようとすると、CUDA11.8, 12.1, 12.4しかありません。
どうすればよいでしょうか。

### 補足
特になし

GPUとCUDAとPytorchのバージョンの互換性がわからない

### 前提・実現したいこと
cuda11.0
cudnn8.0を使用しています
cuda11.0ではtorch1.7.1が対応しているとわかったためインストールしましたがエラーが出ています。
また、下記(python3コマンド)のprint(torch.version.cuda)では10.2と出力しているためそもそもcudaが出来ていないのでしょうか。
申し訳ございませんがご教示いただけないでしょうか。
よろしくお願い致します。

### 発生している問題・エラーメッセージ

```
NVIDIA GeForce RTX 3060 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70 sm_75.
If you want to use the NVIDIA GeForce RTX 3060 GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locally/

RuntimeError: CUDA error: no kernel image is available for execution on the device

```
###pip3 list

```
torch                        1.7.1
torchaudio                   0.7.2
torchvision                  0.8.2

```
###python3コマンド
```
Python 3.8.10 (default, Sep 28 2021, 16:10:42) 
[GCC 9.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> torch.cuda
<module 'torch.cuda' from '/home/limlab/.local/lib/python3.8/site-packages/torch/cuda/__init__.py'>
>>> torch.cuda.is_available()
True
>>> print(torch.version.cuda)
10.2
>>> torch.backends.cudnn.enabled
True

```

pytorchとcudaの依存関係

resnetベースで転移学習を行おうとしています。(torchvisionのmodelを使用)
resnet含むImagenet系のモデルを扱う場合、入力サイズを224×224にする必要がある、との記載をよく見るのですが、
サイズを合わせなくても学習/推定が実行でき、かつ、それなりに良い学習ができています。
resizeする時間がもったいないので可能であれば入力サイズを整えずに学習したいのですが、
処理が不明なため判断がついていません。

画像サイズが224×224でない場合、どのような処理を実行しているのでしょうか？
また、どのような問題が発生する可能性があるのでしょうか？
・内部でリサイズしている
・入力画像が小さい場合は、ゼロパディングしている。
・入力画像が大きい場合は、ランダムクロップしている。
など

Resnet 画像サイズが224×224以外の場合の処理

win10 
デスクトップpc
pythonコード
jupyterから起動

pytorch opengym使用

機械学習をやっていて長い時には10時間以上かかってしまうことがあるのですが
コード実行中にスリープしコードが停止してしまいます
pythonコードを何時間も動かすにはどうしたらいいですか？
printの表示を見る限り大体一時間20分ぐらいでスリープしていました


あと　なんかのボタンを押すとpcも再び起動しコードも再び動作したように見えました
以前unityで何時間も放置するプログラムを使っていた時にはそのようなことがありませんでした（もしかしたらunityではなく　python APIのほうにその機能があるのかも）

この症状を調べてもos違いや画面が暗くなるについての記事が
が多かったのですが　画面が暗くなる　ではなくpcのほうがスリープします
電源＞スリープを手動で押したときと同様のやつ