Q&A
これまで，CNNのモデルを学習させるときにはoptimizerのみzero_gradを使うものだと思っていました．
しかしpytorch公式のチュートリアルのDCGANでは，定義したネットワークモデル対してzero_gradを用いており，optimizerには用いていませんでした．
モデルへのzero＿gradはどのような効果があるのでしょうか？
また，このチュートリアルでoptimizerにzero_gradを使用していないのは何故でしょうか？
ご存知の方おりましたら回答いただければ幸いです．
回答1件
0
ベストアンサー
- zero_grad() を行う理由
- Optimizer.zero_grad() と nn.Module.zero_grad() の違い
については以下の質問が参考にならないでしょうか。
Python 3.x - PyTorchのzero_grad()について｜teratail
また，このチュートリアルでoptimizerにzero_gradを使用していないのは何故でしょうか？
大抵の場合、モデルの全パラメータを Optimizer で最適化する対象に設定しているので、Optimizer.zero_grad() と nn.Module.zero_grad() は同じ結果になります。
質問のチュートリアルも全パラメータが最適化対象になっている。
python
1optimizerD = optim.Adam(netD.parameters(), lr=lr, betas=(beta1, 0.999)) 2optimizerG = optim.Adam(netG.parameters(), lr=lr, betas=(beta1, 0.999))
投稿2020/05/30 09:09
編集2020/05/30 09:13
総合スコア21956
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。