質問編集履歴

テキストの修正

2019/08/05 12:22

投稿

yohehe

スコア48

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -38,9 +38,13 @@
+今調べてもわからない点は、
+1.weightsデータを一旦保存して、もとのネットワークにBatchNormalizationを組み込むということなのか。
+2.表を見ると,SWAを使用した時の学習率とは別の学習率を設定しているようですが、学習率も設定し直す必要があるのか
+です。

文法修正

2019/08/05 12:22

投稿

yohehe

スコア48

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -8,7 +8,9 @@
 https://pytorch.org/blog/stochastic-weight-averaging-in-pytorch/
-#SWAが何をやっているかは以下の方がわかりやすかったです。
+SWAが何をやっているかわかりやすく以下にかかれていました。
 https://towardsdatascience.com/stochastic-weight-averaging-a-new-way-to-get-state-of-the-art-results-in-deep-learning-c639ccf36a
@@ -134,25 +136,189 @@
 learning_rate=0.01
 optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
+#まずはSWAを用いない学習を行ってみる。
+def train(train_loader):
+    #訓練モードに設定
+    model.train()
+    running_loss = 0
+    for batch_idx, (images, labels) in enumerate(train_loader):
+        #view はNumPyの reshapeと似た動作。
+        #images = images.view(-1, 28 * 28)
+        # 微分可能に変換  なしでも動く???
+        #images=Variable(images)
+        #labels=Variable(labels)
+        # 一度計算された勾配結果を0にリセット
+        optimizer.zero_grad()
+        # 入力dataをinputし、順伝播により出力
+        outputs = model(images)
+        #lossの計算
+        loss = criterion(outputs, labels)
+        running_loss += loss.item()
+        #勾配を計算
+        loss.backward()
+        #パラメーターの更新
+        optimizer.step()
+    train_loss = running_loss / len(train_loader)
+    return train_loss
+def valid(test_loader):
+    model.eval()
+    running_loss = 0
+    correct = 0
+    total = 0
+    #評価時は勾配は不要: with torch.no_grad()
+    with torch.no_grad():
+        for batch_idx, (images, labels) in enumerate(test_loader):
+            #images = images.view(-1, 28 * 28)
+            outputs = model(images)
+            loss = criterion(outputs, labels)
+            running_loss += loss.item()
+            _, predicted = torch.max(outputs, 1)
+            correct += (predicted == labels).sum().item()
+            total += labels.size(0)
+    val_loss = running_loss / len(test_loader)
+    val_acc = float(correct) / total
+    return val_loss, val_acc
+#テストで30回epochを回してみる。
+num_epochs=30
+loss_list = []
+val_loss_list = []
+val_acc_list = []
+for epoch in range(num_epochs):
+    loss = train(train_loader)
+    val_loss, val_acc = valid(test_loader)
+    print('epoch %d, loss: %.4f val_loss: %.4f val_acc: %.4f'
+          % (epoch, loss, val_loss, val_acc))
+    # logを取得
+    loss_list.append(loss)
+    val_loss_list.append(val_loss)
+    val_acc_list.append(val_acc)
+#出力：epoch 29, loss: 0.1069 val_loss: 0.1641 val_acc: 0.9537
+#学習できています。
+#以下はSWAを試しに組み込んでみました。
+from torchcontrib.optim import SWA
 criterion = nn.CrossEntropyLoss()
 learning_rate=0.01
-optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
+base_opt = torch.optim.SGD(model.parameters(), lr=0.1)
-#まずはSWAを用いない学習を行ってみる。
+#swa_startが10なので10回の学習以降からSWAを計算し始める(,,,,と自分なりに理解してます)
+optimizer = SWA(base_opt, swa_start=10, swa_freq=5, swa_lr=0.05)
 def train(train_loader):
@@ -200,6 +366,8 @@
         optimizer.step()
+    opt.swap_swa_sgd()
     train_loss = running_loss / len(train_loader)
@@ -222,7 +390,7 @@
     total = 0
-    #評価時は勾配は不要: with torch.no_grad()
+    #評価時は勾配は不要なので with torch.no_grad()をつける。
     with torch.no_grad():
@@ -262,7 +430,7 @@
-#テストで30回epochを回してみる。
+#SWAを導入したモデルもepoch:30回にする。
 num_epochs=30
@@ -288,7 +456,7 @@
-    # logを取得
+    # logging
     loss_list.append(loss)
@@ -296,184 +464,6 @@
     val_acc_list.append(val_acc)
-#出力：epoch 29, loss: 0.1069 val_loss: 0.1641 val_acc: 0.9537
-#学習できています。
-#以下はSWAを試しに組み込んでみました。
-from torchcontrib.optim import SWA
-criterion = nn.CrossEntropyLoss()
-learning_rate=0.01
-base_opt = torch.optim.SGD(model.parameters(), lr=0.1)
-#swa_startが10なので10回の学習以降からSWAを計算し始める(と理解してます)
-optimizer = SWA(base_opt, swa_start=10, swa_freq=5, swa_lr=0.05)
-def train(train_loader):
-    #訓練モードに設定
-    model.train()
-    running_loss = 0
-    for batch_idx, (images, labels) in enumerate(train_loader):
-        #view はNumPyの reshapeと似た動作。
-        #images = images.view(-1, 28 * 28)
-        # 微分可能に変換  なしでも動く???
-        #images=Variable(images)
-        #labels=Variable(labels)
-        # 一度計算された勾配結果を0にリセット
-        optimizer.zero_grad()
-        # 入力dataをinputし、順伝播により出力
-        outputs = model(images)
-        #lossの計算
-        loss = criterion(outputs, labels)
-        running_loss += loss.item()
-        #勾配を計算
-        loss.backward()
-        #パラメーターの更新
-        optimizer.step()
-    opt.swap_swa_sgd()
-    train_loss = running_loss / len(train_loader)
-    return train_loss
-def valid(test_loader):
-    model.eval()
-    running_loss = 0
-    correct = 0
-    total = 0
-    #評価時は勾配は不要なので with torch.no_grad()をつける。
-    with torch.no_grad():
-        for batch_idx, (images, labels) in enumerate(test_loader):
-            #images = images.view(-1, 28 * 28)
-            outputs = model(images)
-            loss = criterion(outputs, labels)
-            running_loss += loss.item()
-            _, predicted = torch.max(outputs, 1)
-            correct += (predicted == labels).sum().item()
-            total += labels.size(0)
-    val_loss = running_loss / len(test_loader)
-    val_acc = float(correct) / total
-    return val_loss, val_acc
-#SWAを導入したモデルもepoch:30回にする。
-num_epochs=30
-loss_list = []
-val_loss_list = []
-val_acc_list = []
-for epoch in range(num_epochs):
-    loss = train(train_loader)
-    val_loss, val_acc = valid(test_loader)
-    print('epoch %d, loss: %.4f val_loss: %.4f val_acc: %.4f'
-          % (epoch, loss, val_loss, val_acc))
-    # logging
-    loss_list.append(loss)
-    val_loss_list.append(val_loss)
-    val_acc_list.append(val_acc)
 #epoch 29, loss: 0.0137 val_loss: 0.1020 val_acc: 0.9611

タイトル修正

2019/08/05 12:18

投稿

yohehe

スコア48

test CHANGED Viewed

	@@ -1 +1 @@
1	- pytorchを用いたSWA stocastic weights averageを用いた場合、BatchNormalizationはいつ組み込むのでしょうか。
1	+ pytorchを用いたSWA stocastic weights averageを用いた場合、BatchNormalizationはいつ,どのように組み込むのでしょうか。

test CHANGED Viewed

File without changes