pytorchの画像分類でRuntimeError: size mismatch, が出るんですがどうすればいいでしょうか？

Question

初めに

pytorchを使用して画像分類をしようとしています。
私のデータセットは256×256×3で構成されていて、100枚ほど入ってると思われます。
以下ディレクトリ構成です。

├─animal_dataset
   ├─train
   │  ├─cat（70枚くらい）
   │  └─dog(70枚くらい)
   └─val
       ├─cat(30枚くらい)
       └─dog(30枚くらい)

エラー文

以下はtrain.pyを実行したら起きたものです。

RuntimeError: Expected 4-dimensional input for 4-dimensional weight [16, 3, 3, 3], but got 2-dimensional input of size [32, 196608] instead

コード

train.py（実行したコード）です。まだ完成されていませんが、lossやaccの精度なんかを見ようとしてます。

import torch    
import torch.nn as nn
import torch.nn.functional as F

import torch.optim as optim
import model,dataset
from model import *

from tqdm import tqdm
from torch.autograd import Variable




#一つの機能を作ったら→pritで確認
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')


# 上でgpuの設定device
if __name__ == "__main__":
    # modelの定義
    model = model.Net()


    # optimizerの定義
    optimizer = torch.optim.SGD(
        model.parameters(), lr=0.001, momentum=0.9, weight_decay=0.0001)

    # datasetの定義
    # training
    train_dataset = dataset.MyDatasets(
        root_dir="./animal_dataset", 
        key="train", 
    )
    train_loader = torch.utils.data.DataLoader(
        train_dataset,
        batch_size=32, 
        shuffle= True
    )

    # validation
    valid_dataset = dataset.MyDatasets(
        root_dir="./animal_dataset", 
        key="val", 
    )
    
    valid_loader = torch.utils.data.DataLoader(
        valid_dataset,
        batch_size=32, 
        shuffle= True
    )

    # batch = len(next(iter(train_loader))) #2
    # for i in train_loader:
    #     print(i)
    # for i in valid_loader:
    #     print(i)

    # iterationの確定
    sample_size = len(train_dataset) #129
    num_iters = sample_size // 32 #129 / 32 = 4.03 

    #loss 
    criterion = nn.CrossEntropyLoss()

    #start epoch
    #2エポック
    num_epochs = 2

    #最後にlossとaccuracyのグラフをプロットするためのリスト
    train_loss_list = []
    train_acc_list = []
    val_loss_list = []
    val_acc_list = []

    for epoch in range(num_epochs):
        #エポックごとに初期化
        train_loss = 0
        train_acc = 0
        val_loss = 0
        val_acc = 0
        #train==============================
        #訓練モードへ切り替え
        model.train()
        #ミニバッチで分割して読み込む
        for i, (images, labels) in enumerate(train_loader):
            #viewで縦横32ピクセルで3チャンネルの画像を１次元に変換
            #toでgpuに転送
            images, labels = images.view(images.shape[0], -1).to(device), labels.to(device)

            #勾配をリセット
            optimizer.zero_grad()
            #順伝播の計算
            outputs = model(images)
            #lossの計算
            loss = criterion(outputs, labels)
            #lossのミニバッチ分を溜め込む
            train_loss += loss.item()
            #accuracyをミニバッチ分を溜め込む
            #正解ラベル（labels）と予測値のtop1（outputs.max(1)）が合っている場合に1が返ってきます。
            train_acc += (outputs.max(1)[1] == labels).sum().item()
            #逆伝播の計算
            loss.backward()
            #重みの更新
            optimizer.step()
        #平均lossと平均accuracyを計算
        avg_train_loss = train_loss / len(train_loader.dataset)
        avg_train_acc = train_acc / len(train_loader.dataset)
        
        #val==============================
        #評価モードへ切り替え
        model.eval()
        #評価するときに必要のない計算が走らないようにtorch.no_gradを使用しています。
        with torch.no_grad():
            for images, labels in valid_loader:        
                images, labels = images.view(-1, 32*32*3).to(device), labels.to(device)
                outputs = model(images)
                loss = criterion(outputs, labels)
                val_loss += loss.item()
                val_acc += (outputs.max(1)[1] == labels).sum().item()
        avg_val_loss = val_loss / len(valid_loader.dataset)
        avg_val_acc = val_acc / len(valid_loader.dataset)
        
        #訓練データのlossと検証データのlossとaccuracyをログで出しています。
        print ('Epoch [{}/{}], Loss: {loss:.4f}, val_loss: {val_loss:.4f}, val_acc: {val_acc:.4f}' 
                    .format(epoch+1, num_epochs, i+1, loss=avg_train_loss, val_loss=avg_val_loss, val_acc=avg_val_acc))
        #最後にグラフをプロットするようにリストに格納
        train_loss_list.append(avg_train_loss)
        train_acc_list.append(avg_train_acc)
        val_loss_list.append(avg_val_loss)
        val_acc_list.append(avg_val_acc)

以下はmodelの実装です。おそらく、こちらでミスしていると思うのですが、同編集すればいいのか...
model.pyです。

class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()
        self.relu = nn.ReLU()

        # input: RGB 3 ,output : 16, kernel 3(default)
        self.conv1 = nn.Conv2d(3, 16, 3)
        # print(self.conv1.weight)
        self.pool1 = nn.MaxPool2d(2,stride=2)

        self.conv2 = nn.Conv2d(16, 32, 3)
        self.pool2 = nn.MaxPool2d(2,stride=2)

        self.conv3 = nn.Conv2d(32, 64, 3)
        self.pool3 = nn.MaxPool2d(2,stride=2)

        self.conv4 = nn.Conv2d(64, 128, 3)
        self.pool4 = nn.MaxPool2d(2,stride=2)

        self.conv5 = nn.Conv2d(128, 256, 3)
        self.pool5 = nn.MaxPool2d(2,stride=2)



        # an affine operation: y = Wx + b
        # linearにおけるout_featuresとはなんだろうか
        self.fc1 = nn.Linear(256 * 3 * 3, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 2)

    def forward(self, x):
        # conv relu poolの流れを実行してみる

        x = self.conv1(x)
        x = self.relu(x)
        x = self.pool1(x)

        x = self.conv2(x)
        x = self.relu(x)
        x = self.pool2(x)
       
        x = self.conv3(x)
        x = self.relu(x)
        x = self.pool3(x)

        x = self.conv4(x)
        x = self.relu(x)
        x = self.pool4(x)

        x = self.conv5(x)
        x = self.relu(x)
        x = self.pool5(x)

        x = x.view(x.size()[0], -1)
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.relu(x)
        x = self.fc3(x)

        return F.log_softmax(x,dim=1)



if __name__ == "__main__":
    
    net = Net()
    print(net)

model.pyの出力結果を示します。
ここでは最後のLinearでの数値とあっていないように思えます。

Net(
  (relu): ReLU()
  (conv1): Conv2d(3, 16, kernel_size=(3, 3), stride=(1, 1))
  (pool1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv2): Conv2d(16, 32, kernel_size=(3, 3), stride=(1, 1))
  (pool2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv3): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1))
  (pool3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv4): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1))
  (pool4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv5): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1))
  (pool5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (fc1): Linear(in_features=2304, out_features=120, bias=True)
  (fc2): Linear(in_features=120, out_features=84, bias=True)
  (fc3): Linear(in_features=84
)

まとめ

以上の情報から画像のサイズのミスマッチが起きているのがわかるのですが、どこをどう編集すればいいのかがわかりません。

正直、パラメータをあんまり考えずに設定してしまったため、ご指摘があればありがたいです。
なにか、不備がありましたらご指摘していただけると助かります。

エラーの解消と、どこをどう編集していけばいいのか教えていただけるとありがたいです。

Comments

[tiitoi]

なぜ CNN モデルなのに入力を images.view(images.shape[0], -1) で1次元にしているのでしょうか？

[oinari03]

ご指摘ありがとうございます。自分が.viewの使い方を理解してなかったためにどこかの記事にある通りにしてしまったからです。cnnで一次元にしないとなると通常どのように設定すればいいのでしょうか....

Answer 1

RuntimeError: Expected 4-dimensional input for 4-dimensional weight [16, 3, 3, 3], but got 2-dimensional input of size [32, 196608] instead

4次元配列の入力を期待しているのに、2次元配列が入力として与えられたというエラーです。
原因は images.view(images.shape[0], -1) で4次元配列を2次元配列にしていることです。

cnnで一次元にしないとなると通常どのように設定すればいいのでしょうか....

.view(images.shape[0], -1) を削除すればいいと思います。

- images, labels = images.view(images.shape[0], -1).to(device), labels.to(device)
+ images, labels = images.to(device), labels.to(device)

---

参考リンク

Pytorch - 事前学習モデルを使ってクラス分類モデルを学習する方法

Comments

[oinari03]

ありがとうございます。
これでひとまず解消できました。