Pytorch CrossEntropyLossの計算値と計算時の重みの設定について

Question

前提・実現したいこと

pytrochを使って機械学習をしています。
CrossEntropyLossについての質問です。

データのアンバランス問題のためとしてweightが設定できますが、
設定しても値が全くかわりません。
これは仕様なのでしょうか。

また、公式のドキュメントを見たところ、log_ssoftmaxとNLL_Lossの組み合わせとあったので
その順番で値を計算し、重みを設定しましたが、重みが反映されておらず困っています。

該当のソースコード

device = 'cuda:0'
weight = torch.tensor([100.,1.]).to(device)
x = torch.tensor([[0.3335,0.886]]).to(device)
target = torch.tensor([0]).to(device)

loss_fn = nn.CrossEntropyLoss().to(device)
loss_fn_w = nn.CrossEntropyLoss(weight=weight).to(device)
loss1 = loss_fn(x, target) #pytrochでの計算
loss2 = loss_fn_w(x, target) #pytorchでの重み付きの計算
print(loss1, loss2)

sm = F.log_softmax(x, dim=1)
print(F.nll_loss(sm, target, weight=weights))

---出力---
tensor(1.0071, device='cuda:0') tensor(1.0071, device='cuda:0')

Comments

[toast-uz]

間違っていた、とされる質問文は修正済でしょうか？
また、回答欄にコメント記述されたのは、削除依頼をしたほうがよいです。
（質問一覧で、回答済と思われて、回答が集まりにくいかと思います）

[yukineko252]

アドバイスありがとうございます。
改めて質問を投稿いたします

[toast-uz]

念のため。回答のみ削除依頼すればよいです。質問は削除依頼せずに修正下さい。

Answer 1

バッチサイズが1で、targetがクラス0だけなので、せっかくウエイトをかけても効果が無いものと思われます。
（クラス1も見ることで、はじめてウエイトが意味を持つ）

以下のようにバッチサイズを2にして、targetとして0、1の両クラスを登場させることで、ウエイトなしとありで結果が変わります。ご確認ください。

weight = torch.tensor([100.,1.])
x = torch.tensor([[0.3335,0.886], [0.3335,0.886]])
target = torch.tensor([0, 1])

Comments

[yukineko252]

回答していただきありがとうございます。
無事weightがかかっていることが確認できました。