pytorchの推論時に学習データを入力して、学習時と同じ認識精度(Accuracy)とlossを得ることは可能ですか？

pytorchでクラス分類を行っています。訳がありまして、推論時に学習データを入力して学習時と同じ認識精度とlossが得られるか確認しているのですが、学習時と推論時でlossと認識精度(Accuracy)が大きく異なります。
モデルには、ResNetを使用しており、評価時はmodel.eval()で評価モードに切り替えて推論しています。
学習データの入力の前処理は、学習時と推論時で以下の通りで同様の処理となっています。
lossには、クロスエントロピーロスを用いています。

python
1transforms.Resize((224, 224)),
2transforms.ToTensor(),
3transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),

ResNetなので、評価時はBatch Normalizationがoffになっているので、認識精度とlossが変化するのは何となく理解できるのですが、学習時と評価時でlossと認識精度は大きく異なるものなのでしょうか？
また、推論時に学習時と同じlossと認識精度を獲得することは可能なのでしょうか？
同じような事例をご経験された方、詳しい方がいましたら、ご教授頂けると嬉しいです。
よろしくお願いします。

行動規範の内容に同意します

回答1件

ベストアンサー

学習のループでは、
examples/mnist/main.py
の「def train(...」のように、「loss」を計算した後に「optimizer.step()」でネットワークの重みを更新するのが普通です
最終のエポックでもそうなので、最終のエポックで学習データで「loss」(や「Accuracy」)が計算された時と、学習が終了した時のネットワークの重みは違います

しかも、ミニバッチ学習の場合は、エポック内で一つのミニバッチでの「loss」計算後に都度重み更新が行われるので、最終のエポックで最初の方のミニバッチに選ばれたデータは、それを使った「loss」計算後に(ミニバッチ数分)何度も重みが更新されてますので、「loss」が計算された時と、学習が終了した時のネットワークの重みの違いはさらに大きくなります

なので、学習のループの最終エポックの最後の、全ミニバッチでの重み更新が済んだ後で、全部の学習データを使って再度「loss」(や「Accuracy」)を計算し直し、それを「学習時」の精度とするのであれば、