numpy配列からtensorへの標準化と正規化

Question

前提・実現したいこと

はじめまして。pythonのpytorchにて道路標識の判別をするモデルを機械学習にて実装したいと考えています。データセットはppm形式のものをnumpy配列に変換し、以下のソースコードはそこからtensorの形へ変換させているところです。tensorの中身の画像を表示させたいと思ったのですが以下のエラーコードが発生しました。

発生している問題・エラーメッセージ

Invalid shape (6502, 42, 50) for image data

該当のソースコード

def dataset(n):
    x = X_train
    y = y_train
    x = torch.FloatTensor(x)
    y = torch.FloatTensor(y)
    return torch.utils.data.TensorDataset(x, y)
data_number = 10000 #準備するデータの数
batch_size  = 1000 # 1つのミニバッチのデータの数
data_loader = torch.utils.data.DataLoader(dataset(data_number), batch_size=batch_size,shuffle=True,num_workers=2) 
def imshow(img):
    img = img / 2 + 0.5     # 正規化を戻す
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)))
    plt.show()


# 適当な訓練セットの画像を取得
dataiter = iter(data_loader)
images, labels = dataiter.next()

# 画像の表示
imshow(torchvision.utils.make_grid(images))
# ラベルの表示
print(' '.join('%5s' % classes[labels[j]] for j in range(4)))

試したこと

tensorの配列へ変換する際に標準化する必要があるのではないかと思いtorchvision.transforms.ToTensor()なども試してみたのですがうまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

環境はjupyter notebook,windows10,python=3.8です。

Comments

[jbpb0]

質問内容とは直接関係無いかもしれませんが、

data_number = 10000 #準備するデータの数

からの3行のインデントが間違ってませんでしょうか？

[wataske]

すみません！jupyter notebookで実行していたものをコピペで貼り付けていたためインデント間違いがありました！ご指摘ありがとうございます！

Answer 1

元データのnumpy配列のshape等の、質問の記述では不明な部分を補って、下記のコードを実行したら、エラー出ずに実行できました

import numpy as np
import matplotlib.pyplot as plt
import torch
import torchvision

# 画素数28x28、3チャンネル、10000サンプル
# 画素値 -1.0〜1.0
# PyTorchのshape「Channel First」に合わせる
X_train = (np.random.rand(10000, 3, 28, 28) - 0.5) * 2.0

# 10000サンプル
# 値 0〜19
y_train = np.random.randint(0, 20, 10000).astype(int)

# Pascal VOC 20 classesと同じ
classes = ['aeroplane', 'bicycle', 'bird', 'boat',
           'bottle', 'bus', 'car', 'cat', 'chair',
           'cow', 'diningtable', 'dog', 'horse',
           'motorbike', 'person', 'pottedplant',
           'sheep', 'sofa', 'train', 'tvmonitor']

## ここまで追加
## 以下は質問のコードから一部変更

def dataset(n):
    x = X_train
    y = y_train
    x = torch.FloatTensor(x)
    y = torch.FloatTensor(y)
    return torch.utils.data.TensorDataset(x, y)

## 質問のコードから変更：インデント無しにする
data_number = 10000 #準備するデータの数
batch_size  = 1000 # 1つのミニバッチのデータの数
data_loader = torch.utils.data.DataLoader(dataset(data_number), batch_size=batch_size,shuffle=True,num_workers=2) 

def imshow(img):
    img = img / 2 + 0.5     # 正規化を戻す
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)))
    plt.show()


# 適当な訓練セットの画像を取得
dataiter = iter(data_loader)
images, labels = dataiter.next()

# 画像の表示
imshow(torchvision.utils.make_grid(images))
# ラベルの表示
## 質問のコードから変更：labels[]が整数ではないのでint()を付ける
print(' '.join('%5s' % classes[int(labels[j])] for j in range(4)))

上記コードで、X_trainのshapeはPyTorchのshape「Channel First」に合わせてます
質問のコードでは、X_trainからTensorに変換する際に「Channel First」に変換してないので、ppmファイルからX_trainを作成する段階で既に「Channel First」に変換済みと仮定しました

質問者さんがコードを実行してる際のX_trainの実際のshapeがどうなってるか、確認してみてください

Comments

[wataske]

ご回答いただきありがとうございます。
確認したところtensorの形がChannel Lastで形成されていました！そこでChannel Firstにしたのち同様に画像の表示を試みたのですが"Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers)."とまた別のエラーが発生してしまいました...
少し調べたのですがデータの型がfloatsであるためにintにしなければならないということでしょうか？無知で大変申し訳ないのですがこのエラーはどういった意味なのでしょうか？

[jbpb0]

もし、現状「X_train」に入ってる値が0〜255の範囲なら、下記を追加して、予め-0.1〜0.1の範囲に変えておいてください

X_train = (X_train / 255 - 0.5) * 2.0

> [0..1] for floats or [0..255] for integers

と書かれてる通り、下記の「どちらか」じゃないと「plt.imshow」で表示できません
・0.0〜1.0の浮動小数点数
・0〜255の整数

現状「X_train」に入ってる値が0〜255の範囲なら、「torch.FloatTensor」で浮動小数点数にして、
img = img / 2 + 0.5
で0.5〜128.0の範囲に変えて、それを「plt.imshow」で表示させようとしてるので、表示できる条件に反してます

「X_train」の値を-0.1〜0.1の範囲に変えたら、
img = img / 2 + 0.5
で0.0〜1.0の範囲になるので、大丈夫です

[wataske]

確認したところX_trainに格納されている値が0~255のintになっていました。
jbpb0様の追加コードを入力したとこ問題なく画像を表示させることができました！ありがとうございます！