PyTorch における正規化について

Question

前提・実現したいこと

数日前からpytorchを始めました初心者です。自作データセットを作っています。

transforms.Normalizeによって正規化する際によく、mean = [0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225]
という値を見かけるのですがこの平均と標準偏差は基本的にこれを使った方がいいよという値なのでしょうか？

自作でデータセットを作る際に、画像一枚一枚に対して平均、偏差を求めて正規化をしたほうがいいと思ったのですがこれは間違った考え方でしょうか？

該当のソースコード

trans = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize(mean = [0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225])
     ])

試したこと

def __getitem__(self, i):

   #--- 省略 ---

    image = Image.open(path)

    tf = transforms.ToTensor()
    mean = [float(torch.mean(tf(image)[0])), float(torch.mean(tf(image)[1])), float(torch.mean(tf(image)[2]))]
    std = [float(torch.std(tf(image)[0])), float(torch.std(tf(image)[1])), float(torch.std(tf(image)[2]))]

    transform = transforms.Compose(
        [transforms.ToTensor(),
         transforms.Normalize(mean = mean, std = std)]
         )

    img = transform(image)

    return img

などとして無理やりRGBの平均と標準偏差をを求めて使う。

補足情報（FW/ツールのバージョンなど）

SIGNATEの練習問題を解いてみようと思い始めました。

Answer 1

mean = [0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225]

という値を見かけるのですがこの平均と標準偏差は基本的にこれを使った方がいいよという値なのでしょうか？

これは ImageNet という画像分類データセットの RGB の平均と標準偏差です。torchvision の事前学習済みモデルを利用するならこれを使う必要がありますが、自作のモデルでゼロから学習するなら、自分のデータセットの平均と分散を計算しておいてそれを使うということになります。

自作でデータセットを作る際に、画像一枚一枚に対して平均、偏差を求めて正規化をしたほうがいいと思ったのですがこれは間違った考え方でしょうか？

もし標準化を前処理として取り入れるなら、すべての画像のチャンネルごとの平均と標準偏差を予め計算しておいて、それを使います。

Comments

[ruizu]

ありがとうございます！
試したこと内に自分なりに
すべての画像のチャンネルごとの平均と標準偏差を予め計算しておいて、それを使います。
を書いてみたのですが、おっしゃっていることとあっているでしょうか？
ご確認していただけると幸いですm(_ _)m

[tiitoi]

質問のコードだと画像一枚の平均と標準偏差になっていませんか？
データセットに含まれる画像すべての平均と標準偏差を計算する必要があります。