pytorchのNormalizationで平均と標準偏差を0.5にする理由がわかりません

Question

pytorchの正規化と標準化について3つ質問があります．

1.pytorchでCNNなどを行う時，ToTensorでテンソル化して，[0,1]の範囲にした後に，

transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))

で標準化しているのを見かけますが，何故計算を行わずに，平均と標準偏差を0.5と決めてしまっているのでしょうか．

2.[0,1]の範囲に正規化した後に標準化を行う必要はあるのでしょうか？（正規化は外れ値に弱く，標準化は外れ値に強いことと関係がありますか．）

3.正確に標準化を行いたい場合は，使用するデータセットの全ての画像のRGBで平均と標準偏差を計算すれば
いいのでしょうか．

お手数おかけしますが，よろしくお願いいたします．

Answer 1

標準化しているのを見かけますが，何故計算を行わずに，平均と標準偏差を0.5と決めてしまっているのでしょうか．
2.[0,1]の範囲に正規化した後に標準化を行う必要はあるのでしょうか？（正規化は外れ値に弱く，標準化は外れ値に強いことと関係がありますか．）

transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) は標準化はしていません。
標準化するのに使う Normalize() を、値の範囲を [-1, 1] にする計算に使っているだけです。

Normalize() は x_new = (x - mean) / stdを計算する関数なので、mean=0.5, std=0.5 とすると、x_new = 2x - 1 となり、[0, 1] の範囲の値を [-1, 1] の範囲の値に変換する処理になります。

3.正確に標準化を行いたい場合は，使用するデータセットの全ての画像のRGBで平均と標準偏差を計算すれば

いいのでしょうか．

それで問題ないです。

Comments

[aqufiz]

画像であれば，[0,255]と範囲が決まっているので255で割って，[0,1]に正規化すればそれで十分な気がしてしまうのですが，"[0, 1] の範囲の値を [-1, 1] の範囲の値に変換する処理"にはどのような意図があるのでしょうか．

[tiitoi]

基本的に [0, 1] でいいと思いますよ。ディープラーニングは学習が上手くいけばいいので、[-1, 1] でもうまくいくなら間違いではないです。

自分は [-1, 1] での正規化は GAN で Generator の出力層の活性化関数に値域が [-1, 1] の tanh が使われるので、それに合わせて、入力画像も [-1, 1] にするというケースでしか見たことがありません。
https://pystyle.info/pytorch-gan/#outline__5_3

[aqufiz]

回答ありがとうございます．
[-1,1]での正規化はオートエンコーダのプログラムで出てきました．
そちらでも，出力層でtanhが使用されていたため，それに合わせていたみたいです．