pytorchのRuntimeErrorが解決できません。

Question

以下のようなerrorが発生しているのですが、解決方法がわかる方がいましたらご教授お願いします。

  gn[t] = np.sqrt(np.sum([gr.pow(2).sum().data[0] for gr in grads[t]])) * losses[t]
<class 'list'>
<class 'torch.Tensor'>
<class 'torch.Tensor'>
Traceback (most recent call last):
  File "multi_task/train_multi_task.py", line 254, in <module>
    train_multi_task(param_file)
  File "multi_task/train_multi_task.py", line 171, in train_multi_task
    grads[t][gr_i] = grads[t][gr_i] / gn[t]
RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.FloatTensor for argument #2 'other'

こちらがerrorが発生している部分のソースコードです。

                gn = gradient_normalizers(grads, loss_data, params['normalization_type'])
                for t in tasks:
                    for gr_i in range(len(grads[t])):
                        print(type(grads[t]))
                        print(type(gn[t]))
                        print(type(grads[t][gr_i]))
                        grads[t][gr_i] = grads[t][gr_i] / gn[t]

Comments

[tiitoi]

解決済みであれば、過去の質問はクローズしてください

Answer 1

RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.FloatTensor for argument #2 'other'

演算するときに一方のテンソルのデバイスが GPU で、もう一方のテンソルのデバイスが CPU になっているときに起こるエラーです。
Expected object of type torch.cuda.FloatTensor と言われているので、演算前に型が torch.FloatTensor のテンソルを Tensor.to("cuda") で torch.cuda.FloatTensor に変更すればいいと思います。

import torch

a = torch.tensor([1, 2, 3], device=torch.device("cpu"))
b = torch.tensor([1, 2, 3], device=torch.device("cuda"))

c = a * b  # エラー

参考
Pytorch - 計算を行うデバイスを指定する方法について