ValueError: num_samples should be a positive integer value, but got num_samples=0

Question

こちらの方のサイトのプログラムを利用してプログラミングを行っており、コピペ可ということでコピペしているのですがエラーが起こってしまったのですが直し方がよくわかりません。

実行はwindow１０のColaboratory で行っています。

実行したコード

import pickle
import numpy as np
 
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision.models as models
import pytorch_lightning as pl
from pytorch_lightning import Trainer
 
 
# データセットの読み込み
PATH = "/content/datasets.pl"   # 作成したデータセットのオブジェクトを格納しているフォルダのパス
 
# データセットの非pickle化
with open(PATH, "rb") as f:
    datasets = pickle.load(f)
 
datasets = torch.utils.data.TensorDataset(datasets[0], datasets[1])
N_train = int(len(datasets) * 0.8)   # 8割を学習用に使用
N_val = int(len(datasets)) - N_train   # 2割を検証用に使用
 
# データの分割
train, val = torch.utils.data.random_split(datasets, [N_train, N_val])
 
 
# 学習用クラス
class TrainNet(pl.LightningModule):
    @pl.data_loader
    def train_dataloader(self):
        return torch.utils.data.DataLoader(train, self.batch_size, shuffle=True)
 
    def training_step(self, batch, batch_nb):
        x, t = batch
        y = self.forward(x)
        y_label = torch.argmax(y, dim=1)
        acc = torch.sum(y_label == t, dtype=torch.float32) / len(t)
        loss = F.cross_entropy(y, t)
        results = {"loss": loss, "acc": acc}
        return results
 
 
# 検証用クラス
class ValidationNet(pl.LightningModule):
    @pl.data_loader
    def val_dataloader(self):
        return torch.utils.data.DataLoader(val, self.batch_size)
 
    def validation_step(self, batch, batch_nb):
        x, t = batch
        y = self.forward(x)
        loss = F.cross_entropy(y, t)
        y_label = torch.argmax(y, dim=1)
        acc = torch.sum(y_label == t, dtype=torch.float32) / len(t)
        results = {"val_loss": loss, "val_acc": acc}
        return results
 
    def validation_end(self, outputs):
        avg_loss = torch.stack([x["val_loss"] for x in outputs]).mean()
        avg_acc = torch.stack([x["val_acc"] for x in outputs]).mean()
        results = {"val_loss": avg_loss, "val_acc": avg_acc}
        print(f"val_loss: {avg_loss:.3f}, val_acc: {avg_acc:.3f}")
        return results
 
# メインクラス
class Net(TrainNet, ValidationNet):
    def __init__(self, batch_size=256):
        super(Net, self).__init__()
        self.batch_size = batch_size
 
        # 転移学習に使用する vgg16 の読み込み
        self.model = models.vgg16(pretrained=True)
 
        # 追加する層の宣言
        self.classifier = nn.Linear(1000, 5)
 
        for i, param in enumerate(self.model.parameters()):
            # 学習済みパラメータの一部を固定
            if i < 18:
                param.requires_grad = False
            else:
                param.requires_grad = True
 
    def configure_optimizers(self):
        optimizer = torch.optim.Adam(self.parameters(), lr=7.5e-4, weight_decay=1e-5)
        return optimizer
 
    def forward(self, x):
        x = self.model(x)
        x = self.classifier(x)
        return x
 
 
def main():
    # 再現性の確保
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    torch.manual_seed(0)
    np.random.seed(0)
    torch.cuda.manual_seed(0)
 
    # モデルの定義
    net = Net(batch_size=128)  # バッチサイズは128
    trainer = Trainer(gpus=1, max_nb_epochs=50, early_stop_callback=True)
 
    # 学習
    trainer.fit(net)
 
    # 精度の確認
    print(trainer.callback_metrics)
 
    # 学習済みモデルのパラメータの保存
    torch.save(net.state_dict(), "./model.pt")
 
 
if __name__ == "__main__":
    main()

エラー内容

INFO:root:gpu available: True, used: True
INFO:root:VISIBLE GPUS: 0
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
/usr/local/lib/python3.7/dist-packages/pytorch_lightning/core/decorators.py in _get_data_loader(self)
     16         try:
---> 17             value = getattr(self, attr_name)
     18         except AttributeError:

11 frames
AttributeError: 'Net' object has no attribute '_lazy_train_dataloader'

During handling of the above exception, another exception occurred:

ValueError                                Traceback (most recent call last)
/usr/local/lib/python3.7/dist-packages/torch/utils/data/sampler.py in __init__(self, data_source, replacement, num_samples, generator)
    101         return self._num_samples
    102 
--> 103     def __iter__(self):
    104         n = len(self.data_source)
    105         if self.replacement:

ValueError: num_samples should be a positive integer value, but got num_samples=0

Comments

[jbpb0]

コードの先頭に下記を追加して実行してみてください

import os
print(os.listdir("/content"))

そうすると、「/content」に置いてあるファイルのファイル名が表示されますが、その中に

> PATH = "/content/datasets.pl"

で指定してるファイル「datasets.pl」はありますでしょうか？