投稿2022/11/08 06:48
ここに質問の内容を詳しく書いてください。
ResNet50を用いて学習を行っています。データセットにはcifar10を用いています。
Resnet50のモデル部分のコードに関しては以下のサイトを参考にしました。
https://qiita.com/tchih11/items/377cbf9162e78a639958
エラーは発生していないのですが、Resnet50にしては精度が上がらなくて困っています。調査したところ、cifar10を用いた場合、90%ほど精度がでているのですが70%ほどで止まってしまいます。
python
1import torch 2import torchvision 3import torch.nn as nn 4import torch.optim as optim 5import torch.nn.functional as F 6import torchvision.transforms as transforms 7import numpy as np 8from matplotlib import pyplot as plt 9 10 11train_dataset = torchvision.datasets.CIFAR10(root='./data/',train=True,transform=transforms.ToTensor(),download=True) 12test_dataset = torchvision.datasets.CIFAR10(root='./data/',train=False,transform=transforms.ToTensor(),download=True) 13train_loader = torch.utils.data.DataLoader(dataset=train_dataset,batch_size=256,shuffle=True,num_workers=2) 14test_loader = torch.utils.data.DataLoader(dataset=test_dataset,batch_size=256,shuffle=False,num_workers=2) 15 16 17class block(nn.Module): 18 def __init__(self, first_conv_in_channels, first_conv_out_channels, identity_conv=None, stride=1): 19 """ 20 残差ブロックを作成するクラス 21 Args: 22 first_conv_in_channels : 1番目のconv層（1x1）のinput channel数 23 first_conv_out_channels : 1番目のconv層（1x1）のoutput channel数 24 identity_conv : channel数調整用のconv層 25 stride : 3x3conv層におけるstide数。sizeを半分にしたいときは2に設定 26 """ 27 super(block, self).__init__() 28 29 # 1番目のconv層（1×1） 30 self.conv1 = nn.Conv2d( 31 first_conv_in_channels, first_conv_out_channels, kernel_size=1, stride=1, padding=0) 32 self.bn1 = nn.BatchNorm2d(first_conv_out_channels) 33 34 # 2番目のconv層（3×3） 35 # パターン3の時はsizeを変更できるようにstrideは可変 36 self.conv2 = nn.Conv2d( 37 first_conv_out_channels, first_conv_out_channels, kernel_size=3, stride=stride, padding=1) 38 self.bn2 = nn.BatchNorm2d(first_conv_out_channels) 39 40 # 3番目のconv層（1×1） 41 # output channelはinput channelの4倍になる 42 self.conv3 = nn.Conv2d( 43 first_conv_out_channels, first_conv_out_channels*4, kernel_size=1, stride=1, padding=0) 44 self.bn3 = nn.BatchNorm2d(first_conv_out_channels*4) 45 self.relu = nn.ReLU() 46 47 # identityのchannel数の調整が必要な場合はconv層（1×1）を用意、不要な場合はNone 48 self.identity_conv = identity_conv 49 50 def forward(self, x): 51 52 identity = x.clone() # 入力を保持する 53 54 x = self.conv1(x) # 1×1の畳み込み 55 x = self.bn1(x) 56 x = self.relu(x) 57 x = self.conv2(x) # 3×3の畳み込み（パターン3の時はstrideが2になるため、ここでsizeが半分になる） 58 x = self.bn2(x) 59 x = self.relu(x) 60 x = self.conv3(x) # 1×1の畳み込み 61 x = self.bn3(x) 62 63 # 必要な場合はconv層（1×1）を通してidentityのchannel数の調整してから足す 64 if self.identity_conv is not None: 65 identity = self.identity_conv(identity) 66 x += identity 67 68 x = self.relu(x) 69 70 return x 71 72class ResNet(nn.Module): 73 def __init__(self, block, num_classes=10): 74 super(ResNet, self).__init__() 75 76 # conv1はアーキテクチャ通りにベタ打ち 77 self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3) 78 self.bn1 = nn.BatchNorm2d(64) 79 self.relu = nn.ReLU() 80 self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1) 81 82 # conv2_xはサイズの変更は不要のため、strideは1 83 self.conv2_x = self._make_layer(block, 3, res_block_in_channels=64, first_conv_out_channels=64, stride=1) 84 85 # conv3_x以降はサイズの変更をする必要があるため、strideは2 86 self.conv3_x = self._make_layer(block, 4, res_block_in_channels=256, first_conv_out_channels=128, stride=2) 87 self.conv4_x = self._make_layer(block, 6, res_block_in_channels=512, first_conv_out_channels=256, stride=2) 88 self.conv5_x = self._make_layer(block, 3, res_block_in_channels=1024, first_conv_out_channels=512, stride=2) 89 90 self.avgpool = nn.AdaptiveAvgPool2d((1,1)) 91 self.fc = nn.Linear(512*4, num_classes) 92 93 def forward(self,x): 94 95 x = self.conv1(x) # in:(3,224*224)、out:(64,112*112) 96 x = self.bn1(x) # in:(64,112*112)、out:(64,112*112) 97 x = self.relu(x) # in:(64,112*112)、out:(64,112*112) 98 x = self.maxpool(x) # in:(64,112*112)、out:(64,56*56) 99 100 x = self.conv2_x(x) # in:(64,56*56) 、out:(256,56*56) 101 x = self.conv3_x(x) # in:(256,56*56) 、out:(512,28*28) 102 x = self.conv4_x(x) # in:(512,28*28) 、out:(1024,14*14) 103 x = self.conv5_x(x) # in:(1024,14*14)、out:(2048,7*7) 104 x = self.avgpool(x) 105 x = x.reshape(x.shape[0], -1) 106 x = self.fc(x) 107 108 return x 109 110 def _make_layer(self, block, num_res_blocks, res_block_in_channels, first_conv_out_channels, stride): 111 layers = nn.ModuleList() 112 113 # 1つ目の残差ブロックではchannel調整、及びsize調整が発生する 114 # identifyを足す前に1×1のconv層を追加し、サイズ調整が必要な場合はstrideを2に設定 115 identity_conv = nn.Conv2d(res_block_in_channels, first_conv_out_channels*4, kernel_size=1,stride=stride) 116 layers.append(block(res_block_in_channels, first_conv_out_channels, identity_conv, stride)) 117 118 # 2つ目以降のinput_channel数は1つ目のoutput_channelの4倍 119 in_channels = first_conv_out_channels*4 120 121 # channel調整、size調整は発生しないため、identity_convはNone、strideは1 122 for i in range(num_res_blocks - 1): 123 layers.append(block(in_channels, first_conv_out_channels, identity_conv=None, stride=1)) 124 125 return nn.Sequential(*layers) 126 127device = 'cuda' if torch.cuda.is_available() else 'cpu' 128net = ResNet(block).to(device) 129 130 131#交差エントロピー誤差を使用 132criterion = nn.CrossEntropyLoss() 133#モーメンタム法を使用 134optimizer = optim.SGD(net.parameters(),lr=0.015,momentum=0.9,weight_decay=5e-4) 135 136 137 138# 繰り返し回数 139num_epochs = 50 140train_loss_list = [] 141train_acc_list = [] 142val_loss_list = [] 143val_acc_list = [] 144 145for epoch in range(num_epochs): 146 #値の初期化 147 train_loss = 0 148 train_acc = 0 149 val_loss = 0 150 val_acc = 0 151 # ここから訓練 152 net.train() 153 for i,(images,labels) in enumerate(train_loader): 154 images,labels = images.to(device),labels.to(device) 155 # 勾配を0にする 156 optimizer.zero_grad() 157 # 順伝播の計算 158 outputs = net(images) 159 # 誤差の計算 160 loss = criterion(outputs,labels) 161 # 訓練誤差 162 train_loss += loss.item() 163 # 予測結果と正解ラベルが同じ数(同じ場合に1となる) 164 train_acc += (outputs.max(1)[1]==labels).sum().item() 165 # 誤差の逆伝播 166 loss.backward() 167 # 重みの更新 168 optimizer.step() 169 # 訓練誤差の平均 170 avg_train_loss = train_loss / len(train_loader.dataset) 171 # 正解率(訓練)の平均 172 avg_train_acc = train_acc / len(train_loader.dataset) 173 174 # ここから評価(dropoutやバッチ正規化を定義した場合に必要) 175 net.eval() 176 # 学習モデルを固定 177 with torch.no_grad(): 178 for i,(images,labels) in enumerate(test_loader): 179 images,labels = images.to(device),labels.to(device) 180 # 順伝播の計算 181 outputs = net(images) 182 # 誤差の計算 183 loss = criterion(outputs,labels) 184 # 評価誤差 185 val_loss += loss.item() 186 # 正解率(評価) 187 val_acc += (outputs.max(1)[1]==labels).sum().item() 188 # 評価誤差の平均 189 avg_val_loss = val_loss / len(test_loader.dataset) 190 # 正解率(評価)の平均 191 avg_val_acc = val_acc / len(test_loader.dataset) 192 193 print(f'Epoch[{epoch+1}/{num_epochs}], loss: {avg_train_loss:5f}, acc: {avg_train_acc:.5f}, val_loss: {avg_val_loss:5f}, val_acc: {avg_val_acc:.5f}') 194 195 # プロット用リストへの格納 196 train_loss_list.append(avg_train_loss) 197 train_acc_list.append(avg_train_acc) 198 val_loss_list.append(avg_val_loss) 199 val_acc_list.append(avg_val_acc) 200 201plt.figure() 202plt.plot(range(num_epochs),train_loss_list,label='train_loss', color = "blue") 203plt.plot(range(num_epochs),val_loss_list,label='val_loss', color = "red") 204plt.legend() 205plt.xlabel('epoch') 206plt.ylabel('loss') 207plt.title('Training and Validation loss') 208plt.grid() 209plt.savefig( 'test_3.png' ) 210 211plt.figure() 212plt.plot(range(num_epochs),train_acc_list,label='train_acc', color = "blue") 213plt.plot(range(num_epochs),val_acc_list,label='val_acc', color = "red") 214plt.legend() 215plt.xlabel('epoch') 216plt.ylabel('acc') 217plt.title('Training and Validation accuracy') 218plt.grid() 219plt.savefig( 'test_4.png' ) 220
構造に問題があるのかと思って元論文と比較してみたのですがモデルに問題はなかったです。
また、学習率を変えてみたりもしたのですが、あまり変わりませんでした。
ここにより詳細な情報を記載してください。
回答1件
0
Resnet50にしては精度が上がらなくて困っています。
調査したところ、cifar10を用いた場合、90%ほど精度がでているのですが70%ほどで止まってしまいます。
質問のコードの下記を変更・追加して実行したら、200エポックで「val_acc」は90%になりました
python
1train_dataset = torchvision.datasets.CIFAR10(root='./data/',train=True,transform=transforms.ToTensor(),download=True) 2test_dataset = torchvision.datasets.CIFAR10(root='./data/',train=False,transform=transforms.ToTensor(),download=True) 3train_loader = torch.utils.data.DataLoader(dataset=train_dataset,batch_size=256,shuffle=True,num_workers=2) 4test_loader = torch.utils.data.DataLoader(dataset=test_dataset,batch_size=256,shuffle=False,num_workers=2)
↓ 変更
python
1transform_train = transforms.Compose([ 2 transforms.RandomCrop(32, padding=4), 3 transforms.RandomHorizontalFlip(), 4 transforms.ToTensor(), 5 transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), 6]) 7transform_test = transforms.Compose([ 8 transforms.ToTensor(), 9 transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), 10]) 11trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) 12testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform_test) 13train_loader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2) 14test_loader = torch.utils.data.DataLoader(testset, batch_size=100, shuffle=False, num_workers=2)
python
1net = ResNet(block).to(device)
↓ 変更
python
1net = torchvision.models.resnet50(num_classes=10, weights=None).to(device) 2if device == 'cuda': 3 torch.backends.cudnn.benchmark = True
python
1optimizer = optim.SGD(net.parameters(),lr=0.015,momentum=0.9,weight_decay=5e-4)
↓ 変更
python
1optimizer = optim.SGD(net.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) 2scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=200)
python
1num_epochs = 50
↓ 変更
python
1num_epochs = 200
「for epoch in range(num_epochs):」のループの最後に下記を追加
python
1 scheduler.step()
構造に問題があるのかと思って元論文と比較してみたのですがモデルに問題はなかったです。
また、学習率を変えてみたりもしたのですが、あまり変わりませんでした。
上記の「val_acc」が90%になるコードと、質問のコードとの各相違点が、それぞれどれだけ精度に効いてるか、分析してみるといいと思います
投稿2022/11/22 10:00
総合スコア7651
あなたの回答
tips
プレビュー
Q&A
