クロスエントロピー誤差の計算方法の違いについて

Question

以下の４つの、クロスエントロピー誤差の計算方法の違いを教えてください。
（おそらく3番目が正しいと思われるのですが）

import numpy as np
import torch
import torch.nn as nn      
import torch.nn.functional as F

y = [[0.1, 0.2, 0.3, 0.4]]
t = [[0, 1, 0, 0]]
y = torch.FloatTensor(y)
t = torch.FloatTensor(t)

# 数式通り
loss = -(t * torch.log(y) + (1-t) * torch.log((1-y))).sum(dim=1).mean()
print(loss)

# Pythonコード
loss = -(t * torch.log(y)).sum(dim=1).mean()
print(loss)

# PyTorchのカテゴリカル交差エントロピー関数
loss = F.cross_entropy(y, t)
print(loss)

# PyTorchの二値分類交差エントロピー
loss = F.binary_cross_entropy(y, t)
print(loss)

出力結果
tensor(2.5823) # -(t * log(y) + (1-t) * log((1-y))
tensor(1.6094) # -(t * log(y))
tensor(1.4425) # cross_entropy関数
tensor(0.6456) # binary_cross_entropy関数ー

Answer 1

CrossEntropyErrorについて
にも書きましたけど、PyTorchのCrossEntropyLossは予測値をソフトマックス処理するので、質問の「# PyTorchのカテゴリカル交差エントロピー関数」と等価な式はこんな感じになると思います

loss = torch.mean(torch.sum(-t * torch.t(torch.t(y) - torch.log(torch.sum(torch.exp(y), dim=1))), dim=1))
print(loss)
## tensor(1.4425)

　
質問の「# Pythonコード」がソフトマックス処理無しの場合です

　
なお、当方のMacの環境
Python 3.7.7
torch 1.9.1
では、「# PyTorchのカテゴリカル交差エントロピー関数」は下記の変更が必要でした

loss = F.cross_entropy(y, t)

↓ 変更

loss = F.cross_entropy(y, torch.tensor([torch.argmax(t)]))

Comments

[teefpc]

有難うございました。