DataLoader のバッチが尻切れトンボになります。

Question

Mnistのデータを利用していますが、途中でバッチ数が足りなくなってしまいます。当然端数は出ますが、普通は自動でそれが補われると思うのですが。

# バッチサイズを128で指定
batch_size =128

data_transforms = transforms.Compose(
    [transforms.ToTensor()]
)

train_datasets = torchvision.datasets.MNIST(root="./datasets",
                                        train=True, download=True,
                                        transform=data_transforms)
loaders = torch.utils.data.DataLoader(train_datasets, batch_size=batch_size,
                                            shuffle=True )

学習時

    for i, batch in enumerate(loaders):
        print(i, batch)

468イテレーションで、バッチサイズが96になるので、後続の処理でエラーとなります。このようにならない方法を教えてください。

Answer 1

Mnistのデータを利用していますが、途中でバッチ数が足りなくなってしまいます。当然端数は出ますが、普通は自動でそれが補われると思うのですが。

そういう仕様です。
Pytorch の DataLoader でも Keras の ImageDataGenerator でもサンプル数がバッチサイズで割り切れない場合は、最後は端数になります。
訓練データの各サンプルを1回ずつ学習に回したのを1エポックと定義するので、このような仕様になっていることは自然です。

Keras の ImageDataGenerator の場合

import numpy as np
from tensorflow.keras.preprocessing import image

x = np.zeros((50, 100, 100, 3), dtype=np.float32)

datagen = image.ImageDataGenerator()
gen = datagen.flow(x, batch_size=16)

for i in range(4):
    print(next(gen).shape)
# (16, 100, 100, 3)
# (16, 100, 100, 3)
# (16, 100, 100, 3)
# (2, 100, 100, 3)

Pytorch の DataLoader の場合

import numpy as np
import torch


class MyDataset(torch.utils.data.Dataset):
    def __init__(self, x):
        self.x = x

    def __len__(self):
        return len(self.x)

    def __getitem__(self, i):
        return self.x[i]


x = np.zeros((50, 100, 100, 3), dtype=np.float32)

dataset = MyDataset(x)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=16)


for x in dataloader:
    print(x.shape)
# torch.Size([16, 100, 100, 3])
# torch.Size([16, 100, 100, 3])
# torch.Size([16, 100, 100, 3])
# torch.Size([2, 100, 100, 3])

468イテレーションで、バッチサイズが96になるので、後続の処理でエラーとなります。このようにならない方法を教えてください。

Pytorch のモデルでは、任意のバッチサイズでも流せるようになっているので、問題にならないはずです。
質問欄に記載がないので、エラーの起こっている部分はわかりませんが、自分で書いたコードでバッチサイズが固定であることが前提の部分があるのであれば、その部分は任意のバッチサイズで対応できるように修正するとよいと思います。

Comments

[teefpc]

大変参考になりました。