Pytorchのbackward()のくせ❓ それとも深層学習の要❓

Question

PytorchでNNを構築する話ですけれども、
modelX は model1とmodel2という二つのサブmodel(NNブロック)を接続して構成されています。
model1はNNの入力層に繋がって、model2はNNの出力層に繋がっています。
訓練ロジック以下の通りで、トラブルが発生しました。

model1.zero_grad()
batch_loss_model1.backward(retain_graph=True)
optimizer_model1.step() # ①  
modelX.zero_grad()
batch_loss_model2.backward() # ② 👈①をやめない限り、エラー発生（メッセージ内容は↓）

/usr/local/lib/python3.7/dist-packages/torch/_tensor.py in backward(self, gradient, retain_graph, create_graph, inputs)
361 create_graph=create_graph,
362 inputs=inputs)
--> 363 torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
364
365 def register_hook(self, hook):

/usr/local/lib/python3.7/dist-packages/torch/autograd/init.py in backward(tensors, grad_tensors, retain_graph, create_graph, grad_variables, inputs)
173 Variable.execution_engine.run_backward( # Calls into the C++ engine to run the backward pass
174 tensors, grad_tensors, retain_graph, create_graph, inputs,
--> 175 allow_unreachable=True, accumulate_grad=True) # Calls into the C++ engine to run the backward pass
176
177 def grad(

RuntimeError:** one of the variables needed for gradient computation has been modified by an inplace operation:**
[torch.FloatTensor [200, 6]], which is output 0 of AsStridedBackward0, is at version 2; expected version 1 instead.
Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

---

自分の水準では理解も解決もできないので、何方か原因を教えてくださいませんか。

Answer 1

多くのメッセージの中に下記の一句が最も重要で、ネット検索したら、いっぱい出た。
世界中のNNをやってる人が大半遭遇(encounter)した事があるらしい。

RuntimeError:** one of the variables needed for gradient computation has been modified by an inplace operation:**

Comments

[insecticide]

《Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).》

いつも役立たない❣

[insecticide]

誤差関数　《 batch_loss_model2 》 こいつこそ問題❣
見かけ上はscalar で（次元数＝0のTensor）とんでもないやつだが、実に凄い奴だ　💛💛
👹👹　こいつには所謂『計算Graph』を持っているのだ　👹👹
最後の計算以降、『計算Graph』上の微分需要の変数がinplace 的に操作されたら、即ち、値の変更の可能性があったら、こいつに対する最後の計算値が信用できなくなるので、再度計算・更新しないうちに、backward()を発行すれば自動微分計算は危うくなるので、エラーメッセージを出してくれた❣　💛

[insecticide]

即ち、直前のoptimizer_model1.step()の実行は、《 batch_loss_model2 》の値に影響する変数を更新されたので、《 batch_loss_model2 》がoptimizer_model1.step()の実行前の値のままで、batch_loss_model2.backward() を発射するのは、行けないのだ！！！！！

なんて賢いTorchだ❓❓❓❓❓❓❓❓❓

[insecticide]

これで問題を自己解決できた　❓

[insecticide]

じゃー、試しに、
batch_loss_model2.backward() を発射する直前、もう一度batch_loss_model2を計算したら、下記のようなメッセージが出なくなる❓❓❓❓❓❓❓

RuntimeError:** one of the variables needed for gradient computation has been modified by an inplace operation:**

[insecticide]

Yes, Yes !