VGG16でサイズエラーが出てしまう

Question

前提

cifar10のデータセットでVGG16を用いて精度を出したいです。

実現したいこと

サイズエラーになってしまうのでそれを改善したい。

発生している問題・エラーメッセージ

RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

該当のソースコード

ソースコード
import os
import numpy as np
import matplotlib.pyplot as plt

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import torchvision.transforms as transforms

import torchvision
from torchvision import models
train_data_dir = './data/'

pytorch_vgg16 = models.vgg16(pretrained=False)

print(pytorch_vgg16)


class myVGG(nn.Module):

    def __init__(self):
        super(myVGG, self).__init__()

        self.conv01 = nn.Conv2d(3, 64, 3)
        self.conv02 = nn.Conv2d(64, 64, 3)
        self.pool1 = nn.MaxPool2d(2, 2)

        self.conv03 = nn.Conv2d(64, 128, 3)
        self.conv04 = nn.Conv2d(128, 128, 3)
        self.pool2 = nn.MaxPool2d(2, 2)

        self.conv05 = nn.Conv2d(128, 256, 3)
        self.conv06 = nn.Conv2d(256, 256, 3)
        self.conv07 = nn.Conv2d(256, 256, 3)
        self.pool3 = nn.MaxPool2d(2, 2)

        self.conv08 = nn.Conv2d(256, 512, 3)
        self.conv09 = nn.Conv2d(512, 512, 3)
        self.conv10 = nn.Conv2d(512, 512, 3)
        self.pool4 = nn.MaxPool2d(2, 2)

        self.conv11 = nn.Conv2d(512, 512, 3)
        self.conv12 = nn.Conv2d(512, 512, 3)
        self.conv13 = nn.Conv2d(512, 512, 3)
        self.pool5 = nn.MaxPool2d(2, 2)

        self.avepool1 = nn.AdaptiveAvgPool2d((7, 7))

        self.fc1 = nn.Linear(512 * 7 * 7, 4096)
        self.fc2 = nn.Linear(4096, 4096)
        self.fc3 = nn.Linear(4096, 5)

        self.dropout1 = nn.Dropout(0.5)
        self.dropout2 = nn.Dropout(0.5)



    def forward(self, x):
        x = F.relu(self.conv01(x))
        x = F.relu(self.conv02(x))
        x = self.pool1(x)

        x = F.relu(self.conv03(x))
        x = F.relu(self.conv04(x))
        x = self.pool2(x)

        x = F.relu(self.conv05(x))
        x = F.relu(self.conv06(x))
        x = F.relu(self.conv07(x))
        x = self.pool3(x)

        x = F.relu(self.conv08(x))
        x = F.relu(self.conv09(x))
        x = F.relu(self.conv10(x))
        x = self.pool4(x)

        x = F.relu(self.conv11(x))
        x = F.relu(self.conv12(x))
        x = F.relu(self.conv13(x))
        x = self.pool5(x)

        x = self.avepool1(x)

        # 行列をベクトルに変換
        x = x.view(-1, 512 * 7 * 7)
        
        x = F.relu(self.fc1(x))
        x = self.dropout1(x)
        x = F.relu(self.fc2(x))
        x = self.dropout2(x)
        x = self.fc3(x)

        return x

net = myVGG()


transform_train = torchvision.transforms.Compose([
     torchvision.transforms.CenterCrop(224),
     torchvision.transforms.ToTensor(),
     torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

transform_valid = torchvision.transforms.Compose([
     torchvision.transforms.CenterCrop(224),
     torchvision.transforms.ToTensor(),
     torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

trainset = torchvision.datasets.CIFAR10(root=train_data_dir,
                                                 train=True,
                                                 transform=transforms.ToTensor(),
                                                 download=True)
validset = torchvision.datasets.CIFAR10(root=train_data_dir,
                                                train=False,
                                                transform=transforms.ToTensor(),
                                                download=True)


# training set

trainloader = torch.utils.data.DataLoader(trainset, batch_size=16, shuffle=True)

# validation set

validloader = torch.utils.data.DataLoader(validset, batch_size=16, shuffle=False)


device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
net.to(device)
net.train()

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(net.parameters(), lr=0.00001)

# 同じデータを 50 回学習します
for epoch in range(50):

  # 今回の学習効果を保存するための変数
  running_loss = 0.0

  for data in trainloader:
    # データ整理
    inputs, labels = data
    inputs = inputs.to(device)
    labels = labels.to(device)

    # 前回の勾配情報をリセット
    optimizer.zero_grad()

    # 予測
    outputs = net(inputs)

    # 予測結果と教師ラベルを比べて損失を計算
    loss = criterion(outputs, labels)
    running_loss += loss.item()

    # 損失に基づいてネットワークのパラメーターを更新
    loss.backward()
    optimizer.step()

  # このエポックの学習効果
  print(running_loss)


optimizer = optim.Adam(net.parameters(), lr=0.000001)

for epoch in range(50):
  running_loss = 0.0
  for data in trainloader:
    inputs, labels = data
    inputs = inputs.to(device)
    labels = labels.to(device)
    optimizer.zero_grad()
    outputs = net(inputs)
    loss = criterion(outputs, labels)
    running_loss += loss.item()
    loss.backward()
    optimizer.step()
  print(running_loss)


# モデルを評価モードにする
net.eval()

# 全検証データの正しく分類できた枚数を記録
n_correct = 0
n_total = 0

for data in validloader:
    inputs, labels = data
    inputs = inputs.to(device)
    labels = labels.to(device)

    # 予測
    outputs = net(inputs)

    # 予測結果をクラス番号に変換
    _, predicted = torch.max(outputs.data, 1)
    
    # 予測結果と実際のラベルを比較して、正しく予測できた枚数を計算
    res = (predicted == labels)
    res = res.sum().item()
    

    # 今までに正しく予測できた枚数に計上
    n_correct = n_correct + res
    n_total = n_total + len(labels)


print(n_correct / n_total)

### 試したこと

色々調査してみたのですがわかりません

### 補足情報（FW/ツールのバージョンなど）

Comments

[jbpb0]

> RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

CIFAR10の画像のサイズ32x32に対して、畳み込み層の層数が多すぎます
畳み込み層を減らすか、入力画像のサイズを大きくするかしたら、質問のエラーは出なくなります

たとえば、下記のようにして画像サイズを256x256にすれば、質問のエラーは出なくなると思います

transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5, ), (0.5,)),
transforms.Resize(256)
])
trainset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
validset = datasets.CIFAR10(root="./data", train=False, download=True, transform=transform)

画像サイズを変えたくなければ、ネットワーク設計を見直してください

上記を変更したら、それよりも後(下)のところで別のエラーが出ますが、それはこの質問のエラーとは別の内容なので、別の質問にしてください

[linpoti]

datasets is not defined
とでました。
trainset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
の部分を
trainset = torchvision.datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
tとするとこのエラーは出ませんでした。

[jbpb0]

> datasets is not defined

以前
https://teratail.com/questions/ra3upl68o5eonm
のコードを動かした時に、エラーが全部出なくなるように直したので、それをそのまま書いたためです

> trainset = torchvision.datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
tとするとこのエラーは出ませんでした。

そのあたり変えてるのですね
そんなに細かいところは見てないので、今のコードに合わせて直してください

[linpoti]

以前
https://teratail.com/questions/ra3upl68o5eonm
のコードに合わせて指摘点を変更しました。

TypeError: 'module' object is not callable
というエラーが出ました。

[jbpb0]

この質問のコードを、私の最初のコメントの通りに変更して、さらに

> trainset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
の部分を
trainset = torchvision.datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)

と変更して、「validset」も同様に変更して、google colab(gpu有り)で実行したら、この質問のエラー

> RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

は出なくなりました

原因が違う別のエラーが「running_loss += loss.item()」の行で出ますが、そのエラーは

> TypeError: 'module' object is not callable
というエラーが出ました。

とは違うものです

質問者さんの環境で実行したら、上記とは違う結果になるのでしょうか？

【追記】
google colabでgpu無しで実行したら、エラーが出る行が一つ上の「loss = criterion(outputs, labels)」に変わりましたが、そのエラーも

> TypeError: 'module' object is not callable
というエラーが出ました。

とは違うものでした

gpu有り/無しどちらの場合のエラーも原因は同じで、この質問のエラーとは違う内容です

[linpoti]

import os
import numpy as np
import matplotlib.pyplot as plt

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import torchvision.transforms as transforms

import torchvision
from torchvision import models
train_data_dir = './data/'

pytorch_vgg16 = models.vgg16(pretrained=False)

print(pytorch_vgg16)

class myVGG(nn.Module):

def __init__(self):
super(myVGG, self).__init__()

self.conv01 = nn.Conv2d(3, 64, 3)
self.conv02 = nn.Conv2d(64, 64, 3)
self.pool1 = nn.MaxPool2d(2, 2)

self.conv03 = nn.Conv2d(64, 128, 3)
self.conv04 = nn.Conv2d(128, 128, 3)
self.pool2 = nn.MaxPool2d(2, 2)

self.conv05 = nn.Conv2d(128, 256, 3)
self.conv06 = nn.Conv2d(256, 256, 3)
self.conv07 = nn.Conv2d(256, 256, 3)
self.pool3 = nn.MaxPool2d(2, 2)

self.conv08 = nn.Conv2d(256, 512, 3)
self.conv09 = nn.Conv2d(512, 512, 3)
self.conv10 = nn.Conv2d(512, 512, 3)
self.pool4 = nn.MaxPool2d(2, 2)

self.conv11 = nn.Conv2d(512, 512, 3)
self.conv12 = nn.Conv2d(512, 512, 3)
self.conv13 = nn.Conv2d(512, 512, 3)
self.pool5 = nn.MaxPool2d(2, 2)

self.avepool1 = nn.AdaptiveAvgPool2d((7, 7))

self.fc1 = nn.Linear(512 * 7 * 7, 4096)
self.fc2 = nn.Linear(4096, 4096)
self.fc3 = nn.Linear(4096, 5)

self.dropout1 = nn.Dropout(0.5)
self.dropout2 = nn.Dropout(0.5)

def forward(self, x):
x = F.relu(self.conv01(x))
x = F.relu(self.conv02(x))
x = self.pool1(x)

x = F.relu(self.conv03(x))
x = F.relu(self.conv04(x))
x = self.pool2(x)

x = F.relu(self.conv05(x))
x = F.relu(self.conv06(x))
x = F.relu(self.conv07(x))
x = self.pool3(x)

x = F.relu(self.conv08(x))
x = F.relu(self.conv09(x))
x = F.relu(self.conv10(x))
x = self.pool4(x)

x = F.relu(self.conv11(x))
x = F.relu(self.conv12(x))
x = F.relu(self.conv13(x))
x = self.pool5(x)

x = self.avepool1(x)

# 行列をベクトルに変換
x = x.view(-1, 512 * 7 * 7)

x = F.relu(self.fc1(x))
x = self.dropout1(x)
x = F.relu(self.fc2(x))
x = self.dropout2(x)
x = self.fc3(x)

return x

net = myVGG()

transform_train = torchvision.transforms.Compose([
torchvision.transforms.CenterCrop(224),
torchvision.transforms.ToTensor(),
torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

transform_valid = torchvision.transforms.Compose([
torchvision.transforms.CenterCrop(224),
torchvision.transforms.ToTensor(),
torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5, ), (0.5,)),
transforms.Resize(256)
])

trainset = torchvision.datasets.CIFAR10(root=train_data_dir, train=True, transform=transforms.ToTensor(), download=True)
validset = torchvision.datasets.CIFAR10(root=train_data_dir, train=False, transform=transforms.ToTensor(), download=True)

# training set

trainloader = torch.utils.data.DataLoader(trainset, batch_size=16, shuffle=True)

# validation set

validloader = torch.utils.data.DataLoader(validset, batch_size=16, shuffle=False)

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
net.to(device)
net.train()

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(net.parameters(), lr=0.00001)

# 同じデータを 50 回学習します
for epoch in range(50):

# 今回の学習効果を保存するための変数
running_loss = 0.0

for data in trainloader:
# データ整理
inputs, labels = data
inputs = inputs.to(device)
labels = labels.to(device)

# 前回の勾配情報をリセット
optimizer.zero_grad()

# 予測
outputs = net(inputs)

# 予測結果と教師ラベルを比べて損失を計算
loss = criterion(outputs, labels)
running_loss += loss.item()

# 損失に基づいてネットワークのパラメーターを更新
loss.backward()
optimizer.step()

# このエポックの学習効果
print(running_loss)

optimizer = optim.Adam(net.parameters(), lr=0.000001)

for epoch in range(50):
running_loss = 0.0
for data in trainloader:
inputs, labels = data
inputs = inputs.to(device)
labels = labels.to(device)
optimizer.zero_grad()
outputs = net(inputs)
loss = criterion(outputs, labels)
running_loss += loss.item()
loss.backward()
optimizer.step()
print(running_loss)

# モデルを評価モードにする
net.eval()

# 全検証データの正しく分類できた枚数を記録
n_correct = 0
n_total = 0

for data in validloader:
inputs, labels = data
inputs = inputs.to(device)
labels = labels.to(device)

# 予測
outputs = net(inputs)

# 予測結果をクラス番号に変換
_, predicted = torch.max(outputs.data, 1)

# 予測結果と実際のラベルを比較して、正しく予測できた枚数を計算
res = (predicted == labels)
res = res.sum().item()

# 今までに正しく予測できた枚数に計上
n_correct = n_correct + res
n_total = n_total + len(labels)

print(n_correct / n_total)

色々変更を加えていま自分のコードが回答者様の言うように変えれているか不安です。今このコードでやってみたところ同じようなサイズエラーがでてしまいました。全くわかっていなくてすいません。もしよろしければ教えていただきたいです。

[jbpb0]

> 色々変更を加えていま自分のコードが回答者様の言うように変えれているか不安

下記のようにやってみてください
・この質問の「該当のソースコード」のコードを、全部そのままコピペ
・先頭の「ソースコード」の行と、最後に近い「色々調査してみたのですがわかりません」の行を削除
・下記を変更
trainset = torchvision.datasets.CIFAR10(root=train_data_dir,
train=True,
transform=transforms.ToTensor(),
download=True)
validset = torchvision.datasets.CIFAR10(root=train_data_dir,
train=False,
transform=transforms.ToTensor(),
download=True)
↓ 変更
transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5, ), (0.5,)),
transforms.Resize(256)
])
trainset = torchvision.datasets.CIFAR10(root=train_data_dir, train=True, download=True, transform=transform)
validset = torchvision.datasets.CIFAR10(root=train_data_dir, train=False, download=True, transform=transform)

そうすれば、当方でgoogle colabで実行したコードと同じになるので、この質問のエラーは出なくなるはずです

[linpoti]

ご丁寧にありがとうございます。この質問のエラーはなくなりました。

RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

新たにこのようなエラーがでてしまいました。
原因としては

ライブラリのVersionが違う
ラベル/クラスの数とネットワークの入出力のshapeが異なる
Loss関数の入力が正確でない
などが挙げられるらしいのですが対処方法がわかりません。

[jbpb0]

> RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

の原因は

> ラベル/クラスの数とネットワークの入出力のshapeが異なる

です

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
↓ 変更
device = "cpu"

と変えてgpuを使わないようにした時のエラーメッセージの方が原因が分かりやすいので、そうしてみてください

そのエラーメッセージを見ても原因が分からなければ、この質問のエラーとは別の内容なので、別の質問にしてください

[linpoti]

IndexError: Target 7 is out of bounds.
というエラーになりました。

[jbpb0]

> IndexError: Target 7 is out of bounds.

の原因は、先のコメントにも書いたように

> ラベル/クラスの数とネットワークの入出力のshapeが異なる

です

考えても分からなければ、別の質問にしてください

[jbpb0]

あと、入力画像サイズを256x256にしたのは、ネットワーク構造を変えずにエラーが出なくなるようにした対策ですが、それが望ましい対処方法かどうかは、質問者さんの目的に照らし合わせて判断してください

入力画像サイズを32x32から変えずに実行したいのであれば、私の最初のコメントにも書きましたが、ネットワーク設計を見直してください (畳み込み層の層数を減らす等)

【追記】
上記は、今出てる

> IndexError: Target 7 is out of bounds.

とは関係ありません

もともと出てた

> RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

の対策の話です

[linpoti]

なるほど。全くわからないので別の質問で投稿させていただきます。

[linpoti]

どの方法が望ましいのかもわからない状態です。
ネットの記事のコードを参考にしているためどのように書き換えるべきかわかっていません。
何度も教えていただいているのに申し訳ないです。

[jbpb0]

> どの方法が望ましいのかもわからない状態です。

全部のエラーが消えて学習できるようになってから考えればいいと思いますよ

Answer 1

RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

CIFAR10の画像のサイズ32x32に対して、畳み込み層の層数が多すぎます
畳み込み層を減らすか、入力画像のサイズを大きくするかしたら、質問のエラーは出なくなると思います