質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

受付中

CIFER-10 をCNN で学習させたいが、層を増やしたときに収束しない

goro_gnm
goro_gnm

総合スコア42

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0評価

1クリップ

2077閲覧

投稿2020/06/15 10:22

CIFER-10の画像分類を学習するCNNをpytorchで組んだのですが、うまくいきません。
調べてもよくわからなかったので、だめなところ指摘してもらえるとうれしいです。

やりたいこと

CIFER-10 の画像分類を浅い CNN に学習させたところ、accuracy が73%程度であった。
層を増やしてより高い accuracy を得たい。

浅い CNN のコード

モジュールのインポートとデータローダの作成

python

import torch device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) import torchvision import torchvision.transforms as transforms import torch.nn as nn import torch.nn.functional as F import torch.optim as optim % matplotlib inline import matplotlib.pyplot as plt import numpy as np batch_size = 256 loss_interval = 50 transform_aug = transforms.Compose( [transforms.RandomHorizontalFlip(p=0.5), transforms.RandomAffine(degrees=0.2, scale=(0.8,1.2)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_aug) trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform_aug) testloader = torch.utils.data.DataLoader(testset, batch_size=batch_size, shuffle=True, num_workers=2)

モデルの定義と訓練、評価をする関数の定義

python

#ネットワークの定義 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 64, 3, padding = 1) self.conv7 = nn.Conv2d(64, 64, 3, padding = 1) self.conv2 = nn.Conv2d(64, 128, 3, padding = 1) self.conv6 = nn.Conv2d(128, 128, 3, padding = 1) self.conv3 = nn.Conv2d(128, 256, 3, padding = 1) self.conv5 = nn.Conv2d(256, 256, 3, padding = 1) self.conv4 = nn.Conv2d(256, 16, 3, padding = 1) self.pool = nn.MaxPool2d(2) self.avgpool = nn.AvgPool2d(2) self.fc1 = nn.Linear(16 * 8 * 8, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) self.sm = nn.Softmax(1) # dropoutの定義 self.dropout1 = nn.Dropout2d(p=0.2) self.dropout2 = nn.Dropout2d(p=0.25) self.dropout3 = nn.Dropout(p=0.3) self.dropout4 = nn.Dropout(p=0.35) def forward(self, x): x = F.relu(self.conv1(x)) x = F.relu(self.conv7(x)) x = F.relu(self.conv2(x)) # x = F.relu(self.conv6(x)) x = self.pool(x) x = self.dropout1(x) x = F.relu(self.conv3(x)) # x = F.relu(self.conv5(x)) x = F.relu(self.conv4(x)) x = self.pool(x) x = self.dropout2(x) x = x.view(-1, 16 * 8 * 8) x = F.relu(self.fc1(x)) x = self.dropout3(x) x = F.relu(self.fc2(x)) x = self.dropout4(x) x = self.fc3(x) return x #ネットワークを訓練する関数 def train(net, criterion, optimizer, n_epoch = 15): # Batch normalization net.train() train_loss = [] test_loss = [] for epoch in range(n_epoch): for i, data in enumerate(trainloader, 0): inputs, labels = data[0].to(device), data[1].to(device) optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() if i % loss_interval == (loss_interval - 1): train_loss.append(loss.item()) with torch.no_grad(): data = iter(testloader).next() inputs, labels = data[0].to(device), data[1].to(device) outputs = net(inputs) loss = criterion(outputs, labels) test_loss.append(loss.item()) print('epoch {}/{} finished'.format(epoch+1,n_epoch)) print('Finished Training') return train_loss, test_loss # 損失の変遷を表示する関数 def show_loss(train_loss, test_loss): plt.xlabel("iter") plt.ylabel("loss") x = [i*loss_interval for i in range(len(train_loss))] plt.plot(x, train_loss, label='train_loss') plt.plot(x, test_loss, label='test_loss') plt.legend() plt.show() # ネットワークの予測精度を計算する関数 def check_accuracy(net): net.eval() ret = [] with torch.no_grad(): for loader, name in [[trainloader, 'train'], [testloader, 'test']]: correct = 0 total = 0 for data in loader: images, labels = data[0].to(device), data[1].to(device) outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() ret.append(100 * correct / total) print('Accuracy of the network on the {} images: {:.2f} %'.format(name, ret[-1])) return ret

訓練、評価

python

net = Net() net.to(device) criterion = nn.CrossEntropyLoss() optimizer_wd = optim.Adam(net.parameters(), lr=0.001, weight_decay=4e-3) train_loss, test_loss = train(net, criterion, optimizer_wd, n_epoch = 50) show_loss(train_loss, test_loss) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=batch_size, shuffle=True, num_workers=2) acc = check_accuracy(net)

このコードが accuracy 73% 程度でした。

より層の多い CNN

モデルの定義を次のように変更しました。

python

class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 64, 3, padding = 1) self.conv7 = nn.Conv2d(64, 64, 3, padding = 1) self.conv2 = nn.Conv2d(64, 128, 3, padding = 1) self.conv6 = nn.Conv2d(128, 128, 3, padding = 1) self.conv3 = nn.Conv2d(128, 256, 3, padding = 1) self.conv5 = nn.Conv2d(256, 256, 3, padding = 1) self.conv4 = nn.Conv2d(256, 16, 3, padding = 1) self.pool = nn.MaxPool2d(2) self.avgpool = nn.AvgPool2d(2) self.fc1 = nn.Linear(16 * 4 * 4, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) self.sm = nn.Softmax(1) # dropoutの定義 self.dropout1 = nn.Dropout2d(p=0.2) self.dropout2 = nn.Dropout2d(p=0.25) self.dropout3 = nn.Dropout(p=0.3) self.dropout4 = nn.Dropout(p=0.35) def forward(self, x): x = F.relu(self.conv1(x)) x = F.relu(self.conv7(x)) x = self.dropout2(x) x = self.pool(x) x = F.relu(self.conv2(x)) x = F.relu(self.conv6(x)) x = self.dropout2(x) x = self.pool(x) x = F.relu(self.conv3(x)) x = F.relu(self.conv5(x)) x = F.relu(self.conv4(x)) x = self.dropout2(x) x = self.avgpool(x) x = x.view(-1, 16 * 4 * 4) x = F.relu(self.fc1(x)) x = self.dropout3(x) x = F.relu(self.fc2(x)) x = self.fc3(x) x = self.sm(x) return x

このモデルの summery は

--- Layer (type) Output Shape Param # === Conv2d-1 [-1, 64, 32, 32] 1,792 Conv2d-2 [-1, 64, 32, 32] 36,928 Dropout2d-3 [-1, 64, 32, 32] 0 MaxPool2d-4 [-1, 64, 16, 16] 0 Conv2d-5 [-1, 128, 16, 16] 73,856 Conv2d-6 [-1, 128, 16, 16] 147,584 Dropout2d-7 [-1, 128, 16, 16] 0 MaxPool2d-8 [-1, 128, 8, 8] 0 Conv2d-9 [-1, 256, 8, 8] 295,168 Conv2d-10 [-1, 256, 8, 8] 590,080 Conv2d-11 [-1, 16, 8, 8] 36,880 Dropout2d-12 [-1, 16, 8, 8] 0 AvgPool2d-13 [-1, 16, 4, 4] 0 Linear-14 [-1, 120] 30,840 Dropout-15 [-1, 120] 0 Linear-16 [-1, 84] 10,164 Linear-17 [-1, 10] 850 Softmax-18 [-1, 10] 0 ==== ~ (文字数制限のため省略)

このモデルを訓練すると、loss が収束せず、10epoch ほど回してもaccuracyは10%(10種類の画像だから何も学習していない)でした。
ちなみにこのモデルは ここ のベンチマークモデル(Keras)↓を参考に作っています。

def create_bench_model(): inputs = Input(shape = (32,32,3)) x = Conv2D(64,(3,3),padding = "SAME",activation= "relu")(inputs) x = Conv2D(64,(3,3),padding = "SAME",activation= "relu")(x) x = Dropout(0.25)(x) x = MaxPooling2D()(x) x = Conv2D(128,(3,3),padding = "SAME",activation= "relu")(x) x = Conv2D(128,(3,3),padding = "SAME",activation= "relu")(x) x = Dropout(0.25)(x) x = MaxPooling2D()(x) x = Conv2D(256,(3,3),padding = "SAME",activation= "relu")(x) x = Conv2D(256,(3,3),padding = "SAME",activation= "relu")(x) x = GlobalAveragePooling2D()(x) x = Dense(1024,activation = "relu")(x) x = Dropout(0.25)(x) y = Dense(10,activation = "softmax")(x) return Model(input = inputs, output = y)

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。