質問編集履歴
2
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -6,7 +6,15 @@
|
|
|
6
6
|
|
|
7
7
|
モデルのloss関数の一部にtorch.sqrt()をしようしたところ、backward時にnanが発生する問題に突き当たりました。
|
|
8
8
|
|
|
9
|
-
torch.sqrt()に入力されるベクトルの要素の大きさがとても小さいことが原因のようです。
|
|
9
|
+
torch.sqrt()に入力されるベクトルの要素の大きさがとても小さいことが原因のようです。
|
|
10
|
+
|
|
11
|
+
|
|
12
|
+
|
|
13
|
+
torch.sqrt()のinputが小さいとbackward時に1/(2*torch.sqrt())がinfになるようです...
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
何か対処法がわかる方がいらっしゃいましたら、お教えいただければ幸いです。
|
|
10
18
|
|
|
11
19
|
```
|
|
12
20
|
|
1
関数の説明を追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -59,3 +59,7 @@
|
|
|
59
59
|
return (v2/(torch.sqrt(v4_ema)+epsilon)).sum()/v4_ema.size(0), v4_ema
|
|
60
60
|
|
|
61
61
|
```
|
|
62
|
+
|
|
63
|
+
また上記の関数new_normは以下の式を求めようとして作成したものです。
|
|
64
|
+
|
|
65
|
+
|