CNN cifar10 エラー

Question

前提

CNNでcifar-10のデータセットを用いて精度を出したい。ネットの記事を参考にして実行してみたがエラーが出てしまいます。

実現したいこと

エラーがでないようにしたい。

発生している問題・エラーメッセージ

Traceback (most recent call last):
File "/home/workspace/username/VGG.py", line 107, in <module>
plt.plot(accs, label='train acc')
File "/home/anaconda3/envs//lib/python3.10/site-packages/matplotlib/pyplot.py", line 2730, in plot
return gca().plot(
File "/home/anaconda3/envs/lib/python3.10/site-packages/matplotlib/axes/_axes.py", line 1662, in plot
lines = [*self._get_lines(*args, data=data, **kwargs)]
File "/home/anaconda3/envs/lib/python3.10/site-packages/matplotlib/axes/_base.py", line 311, in call
yield from self._plot_args(
File "/home/anaconda3/envs/lib/python3.10/site-packages/matplotlib/axes/_base.py", line 496, in _plot_args
x, y = index_of(xy[-1])
File "/home/anaconda3/envs/lib/python3.10/site-packages/matplotlib/cbook/init.py", line 1690, in index_of
y = _check_1d(y)
File "/home/anaconda3/envs/lib/python3.10/site-packages/matplotlib/cbook/init.py", line 1382, in _check_1d
return np.atleast_1d(x)
File "<array_function internals>", line 180, in atleast_1d
File "/home/anaconda3/envs/lib/python3.10/site-packages/numpy/core/shape_base.py", line 65, in atleast_1d
ary = asanyarray(ary)
File "/home/anaconda3/envs/lib/python3.10/site-packages/torch/_tensor.py", line 757, in array
return self.numpy()
TypeError: can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

該当のソースコード

ソースコード
import torch 
import torchvision 
import torch.nn as nn
import torch.optim as optim
import numpy as np
from torchvision import datasets, transforms
import matplotlib.pyplot as plt
from torch.utils.data import DataLoader

DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'



transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, ), (0.5,))
])

train_dataset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
validation_dataset = datasets.CIFAR10(root="./data", train=False, download=True, transform=transform)

train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
validation_dataloader = DataLoader(validation_dataset, batch_size=32, shuffle=False)

class CNN(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(in_channels=3, out_channels=64, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2),
            nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2),
            nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2),
            nn.Conv2d(in_channels=256, out_channels=128, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
        )
        self.classifier = nn.Linear(in_features=4 * 4 * 128, out_features=num_classes)
    
    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), -1)
        x = self.classifier(x)
        return x

    
model = CNN(10)
model.to(DEVICE)

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=5e-4)

num_epocs = 15
losses = []
accs = []
val_losses = []
val_accs = []
for epoch in range(num_epocs):
    # 学習
    running_loss = 0.0
    running_acc = 0.0
    for imgs, labels in train_dataloader:
        imgs = imgs.to(DEVICE)
        labels = labels.to(DEVICE)
        optimizer.zero_grad()
        output = model(imgs)
        loss = criterion(output, labels)
        loss.backward()
        running_loss += loss.item()
        pred = torch.argmax(output, dim=1)
        running_acc += torch.mean(pred.eq(labels).float())
        optimizer.step()
    running_loss /= len(train_dataloader)
    running_acc /= len(train_dataloader)
    losses.append(running_loss)
    accs.append(running_acc)
    
    # 検証
    val_running_loss = 0.0
    val_running_acc = 0.0
    for val_imgs, val_labels in validation_dataloader:
        val_imgs = val_imgs.to(DEVICE)
        val_labels = val_labels.to(DEVICE)
        val_output = model(val_imgs)
        val_loss = criterion(val_output, val_labels)
        val_running_loss += val_loss.item()
        val_pred = torch.argmax(val_output, dim=1)
        val_running_acc += torch.mean(val_pred.eq(val_labels).float())
    val_running_loss /= len(validation_dataloader)
    val_running_acc /= len(validation_dataloader)
    val_losses.append(val_running_loss)
    val_accs.append(val_running_acc)
    print("epoch: {}, loss: {}, acc: {}    " \
    "val_epoch: {}, val_loss: {}, val_acc: {}".format(epoch, running_loss, running_acc, epoch, val_running_loss, val_running_acc))



plt.style.use('ggplot')
plt.plot(losses, label='train loss')
plt.plot(val_losses, label='validation loss')
plt.legend()

plt.style.use('ggplot')
plt.plot(accs, label='train acc')
plt.plot(val_accs, label='validation acc')
plt.legend()

### 試したこと

色々と調べてみたのですが人によって解決策が違うためわかりません。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[jbpb0]

質問に記載のエラーメッセージよりも上に「Traceback」と書かれてたら、そこから下をできるだけ省略せずに質問に記載してください
(ここに書くのではなく、質問を編集して追記する)

ユーザー名等の個人情報は伏せ字でいいですが、それ以外はできるだけそのまま記載してください

[linpoti]

ご指摘ありがとうございます。エラーすべて載せました。よろしくお願いします。

[jbpb0]

> File "/home/workspace/username/VGG.py", line 107, in <module>
plt.plot(accs, label='train acc')

> TypeError: can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

plt.plot(accs, label='train acc')
↓ 修正
plt.plot(accs.detach().cpu().numpy(), label='train acc')

で、どうでしょうか？

参考
https://wonderhorn.net/programming/torch2np.html

[linpoti]

Traceback (most recent call last):
File "/home/lab-shi/workspace/rin.kitagawa/VGG.py", line 107, in <module>
plt.plot(accs.detach().cpu().numpy(), label='train acc')
AttributeError: 'list' object has no attribute 'detach'

このようなエラーが出ました。

[jbpb0]

失礼しました
私の前のコメントの変更は元に戻して、下記をやってみてください

accs.append(running_acc)
↓ 変更
accs.append(running_acc.detach().cpu().numpy())

val_accs.append(val_running_acc)
↓ 変更
val_accs.append(val_running_acc.detach().cpu().numpy())

[linpoti]

無事エラーなくなりました！！ありがとうございます。

Answer 1

accs.append(running_acc)

↓ 変更

accs.append(running_acc.detach().cpu().numpy())

　

val_accs.append(val_running_acc)

↓ 変更

val_accs.append(val_running_acc.detach().cpu().numpy())