ミニバッチ学習におけるパラメータ更新について

Question

Pytorchを使って，ミニバッチ学習を用いたCNNモデルを構築しています．その際に，パラメータ更新をミニバッチごとのlossの平均値で行っているのですが，これは正しい実装なのでしょうか．
コードとしての実装は以下の通りになっています．

for count, data in enumerate(self.train_loader):
    inputs = Variable(data['inputs'])
    labels = Variable(data['labels'])
    batch_loss = []
    #batch_size = 32なので，32回ループしてlossの平均を取る    
    for i, l in zip(inputs, labels):
        out = model(i)
        loss = self.criterion(out, l)
        batch_loss.append(loss)
    batch_ave_loss = sum(batch_loss)/len(batch_loss)
    self.optim.zero_grad()
    batch_ave_loss.backward()
    self.optim.step()      

ミニバッチ学習が，バッチ毎のlossの平均でパラメータ変更を行うということは色々な記事でみたのですが，実際に上記のコードでのfor文のようなコードを書いている人はいませんでした．
これはネットワークの構造によるものなのでしょうか．

Answer 1

DataLoader がバッチサイズ個のミニバッチを返すようになっているので、バッチサイズ=32の場合に中で32回ループを回す必要はありません。
バッチサイズの数は DataLoader のコンストラクタ引数で指定できます。

for inputs, labels in dataloader:
    # inputs に対して推論

    # 推論結果と labels で損失計算


    # パラメータ更新

    # 以上で1回分の学習完了 これがミニバッチ学習

ループの中では DataLoader が返した inputs に対して推論を行い、推論結果と labels を使って誤差を計算して、一度だけパラメータ更新を行えばよいです。

参考

学習ループ部分の参考コード

DataLoader のバッチサイズ指定について