回答編集履歴
2
あ
test
CHANGED
|
@@ -45,3 +45,11 @@
|
|
|
45
45
|
|
|
46
46
|
|
|
47
47
|
なので、nn.Module オブジェクトのすべてのテンソルが最適化対象とした場合 (例: `optimizer = optim.SGD(model.parameters())`)、これら2つは同じ処理になります。
|
|
48
|
+
|
|
49
|
+
|
|
50
|
+
|
|
51
|
+
## 結論
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
|
|
55
|
+
`backward()` の前に `Optimizer.zero_grad()` を呼び出せばよい。
|
1
d
test
CHANGED
|
@@ -6,7 +6,7 @@
|
|
|
6
6
|
|
|
7
7
|
|
|
8
8
|
|
|
9
|
-
`勾配 = 前回計算した勾配 + 今回計算した勾配`
|
|
9
|
+
`今回の勾配 = 前回計算した勾配 + 今回計算した勾配`
|
|
10
10
|
|
|
11
11
|
|
|
12
12
|
|