torchvision.transforms.Normalize()に渡す平均，標準偏差とは何の値？

前提

画像分類のタスクを，Pytorchで実装したCNNで行っています．

疑問

データセットの正規化を行いたいのですが，**「平均・標準偏差に何を渡すべきなのか」**が分からないため，教えて頂きたいです．

torchvision.transformsのNormalizeに渡すmeanとstdの値です．

Python
1transform = transforms.Compose([
2    transforms.ToTensor(),
3    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
4])

これまで

使用するデータセットの全画像のRGBチャネルごとの平均・標準偏差を出し，それを用いていました．（値は以下になります）
平均：(0.251, 0.266, 0.228)
標準偏差：(0.189, 0.189, 0.190)

疑問発生

しかし，ここのサイトで，

Normalize(平均, 標準偏差)：平均と標準偏差を決めて正則化（RGBのとり得る値を「-1から1」に）

※今回はNormalizeで平均と分散を「0.5」としました。正則化されたデータは「(元のデータ – 平均) / (標準偏差)」で求まるので、平均を0.5としたことで「元の0.5のデータは0」になり、標準偏差を0.5にしたことで「取り得る値の範囲を2倍」にできるというわけです。

と解説されていました．

これを受けて，これまで使用していた値を用いた場合，正規化後どうなるのか想像できません．

正規化という処理をきちんと理解していないための質問になりますが，回答よろしくお願い致します…．

jbpb0

2021/11/18 08:07 編集

> これまで使用していた値を用いた場合，正規化後どうなるのか想像できません． https://pytorch.org/vision/stable/transforms.html#torchvision.transforms.Normalize に書いてある output[channel] = (input[channel] - mean[channel]) / std[channel] で計算した値になります元データ → 正規化後平均 → 0.0 平均+標準偏差 → 1.0 平均-標準偏差 → -1.0 【追記】上記の「平均」と「標準偏差」とは、あくまでも「torchvision.transforms.Normalize」に渡した数値のことであって、画像の本当の「平均」や「標準偏差」のことではありません画像の本当の「平均」や「標準偏差」とは全然違う数値を指定しても、指定された数値通りにただ計算されるだけです画像の本当の「平均」や「標準偏差」ではなくてもいいものを、ドキュメントで下記のように説明してるのは、変な気がしないでもない・mean (sequence) – Sequence of means for each channel. ・std (sequence) – Sequence of standard deviations for each channel.

r.kanke

2021/11/18 08:13 編集

なるほど，正規化は平均±標準偏差を0±1にする処理だったのですね．掴めました．それでは自分で求めた値を使っていたのは，間違いではなかったと考えて大丈夫そうですね！ > 平均を0.5としたことで「元の0.5のデータは0」になり、標準偏差を0.5にしたことで「取り得る値の範囲を2倍」にできるというわけです。を誤解してとっていたようです．助かりました．ありがとうございます！

r.kanke

2021/11/18 08:15

追記読みました．ありがとうございます．平均・標準偏差は処理後のもの，ということでしょうか．自前の値を使うのは不味そうですか…？

jbpb0

2021/11/18 08:23

元データから計算した「平均」と「標準偏差」を使って、大丈夫ですよただし、そのモデルで扱う全てのデータに対して、同じ数値を使わないといけませんたとえば、学習に使う画像から「平均」と「標準偏差」を計算したら、検証データにもテストデータにもそれを使いますまた、そのモデルを使って将来推定に使う画像も、全部それを使いますテストデータの「平均」や「標準偏差」を計算したら、たいてい学習データで計算したものとはピッタリは合いませんなので、学習データで決めた「平均」や「標準偏差」は、テストデータにとっては本当は「平均」や「標準偏差」ではありませんよねでも、ピッタリ正確な「平均」「標準偏差」ではなくても、だいたいそれくらいの値を使えばいいのです (重要なのは、ピッタリ合うかどうかではなく、ずっと同じ値を使うこと) だいたい合ってればいい程度のものに対して、「means for each channel.」とか「standard deviations for each channel.」とか断言してるのが気持ち悪い、と感じたのでそう書いただけです

r.kanke

2021/11/18 08:31

テストデータでも同じ値，ですね．了解しました！詳しく解説ありがとうございます．安心して使えます．