BERTを用いた文書分類タスクについて、データローダーのエラーに関する質問

Question

前提

ツイートデータと０～３の４段階のラベルを用いて文書分類モデルを作成するシステムを作っています。
「BERTによる自然言語処理入門」という本を参考に以下のコードを実装したところエラーが発生しました。

実現したいこと

ツイートを用いた文書分類システム

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "bert_fin2.py", line 105, in <module>
    trainer.fit(model, dataloader_train, dataloader_val)
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 499, in fit
    self.dispatch()
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 546, in dispatch
    self.accelerator.start_training(self)
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\accelerators\accelerator.py", line 73, in start_training
    self.training_type_plugin.start_training(trainer)
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\plugins\training_type\training_type_plugin.py", line 114, in start_training
    self._results = trainer.run_train()
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 607, in run_train
    self.run_sanity_check(self.lightning_module)
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 850, in run_sanity_check
    self.reset_val_dataloader(ref_model)
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\data_loading.py", line 364, in reset_val_dataloader
    self.num_val_batches, self.val_dataloaders = self._reset_eval_dataloader(model, 'val')
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\trainer\data_loading.py", line 325, in _reset_eval_dataloader
    num_batches = len(dataloader) if has_len(dataloader) else float('inf')
  File "C:\Users\kanon\VR_en\cor_twi_bert_bigginer\test\lib\site-packages\pytorch_lightning\utilities\data.py", line 33, in has_len
    raise ValueError('`Dataloader` returned 0 length. Please make sure that it returns at least 1 batch')
ValueError: `Dataloader` returned 0 length. Please make sure that it returns at least 1 batch

該当のソースコード

import pandas as pd
import torch
from torch.utils.data import DataLoader
from transformers import BertJapaneseTokenizer, BertForSequenceClassification
import pytorch_lightning as pl
import random
import glob

MODEL_NAME = 'cl-tohoku/bert-base-japanese-whole-word-masking'
tokenizer = BertJapaneseTokenizer.from_pretrained(MODEL_NAME)

data = pd.read_csv("C:\\Users\\kanon\\VR_en\\cor_twi_bert_bigginer\\test\\DateSet\\DS-ALL_4sec_20220920.csv", encoding="utf-8")

ds1 = data[['DS1ツイート','DS1ラベル']]

max_length = 150
dataset_for_loader = []
for index, row in ds1.iterrows():
    encoding = tokenizer(
        row['DS1ツイート'],
        max_length = max_length,
        padding = 'max_length',
        truncation = True
    )
    encoding['labels'] = row['DS1ラベル']
    encoding = { k: torch.tensor(v) for k, v in encoding.items() }
    dataset_for_loader.append(encoding)

##print(dataset_for_loader[0])

random.shuffle(dataset_for_loader)
n = len(dataset_for_loader)
n_train = int(0.6*n)
n_val = int(0.2*n)
dataset_train = dataset_for_loader[:n_train]
dataset_val = dataset_for_loader[n_train:n_val]
dataset_test = dataset_for_loader[n_train+n_val:]

dataloader_train = DataLoader(
    dataset_train, batch_size = 32, shuffle=True
)
dataloader_val = DataLoader(dataset_val, batch_size = 64)
dataloader_test = DataLoader(dataset_test, batch_size = 64)

##ここから学習とファインチューニングと検証
class BertForSequenceClassification_pl(pl.LightningModule):
    def __init__(self, model_name, num_labels, lr):
        super().__init__()
        self.save_hyperparameters()
        self.bert_sc = BertForSequenceClassification.from_pretrained(
            model_name,
            num_labels=num_labels
        )

    def training_step(self, batch, batch_idx):
        output = self.bert_sc(**batch)
        loss = output.loss
        self.log('train_loss', loss)
        return loss

    def validation_step(self, batch, batch_idx):
        output = self.bert_sc(**batch)
        val_loss = output.val_loss
        self.log('val_loss', val_loss)

    def test_step(self, batch, batch_idx):
        labels = batch.pop('labels')
        output = self.bert_sc(**batch)
        labels_predicted = output.logits.argmax(-1)
        num_correct = ( labels_predicted == labels ).sum().item()
        accuracy = num_correct/labels.size(0)
        self.log('accuracy', accuracy)

    def configure_optimizers(self):
        return torch.optim.Adam(self.parameters(), lr=self.hparams.lr)

checkpoint = pl.callbacks.ModelCheckpoint(
    monitor='val_loss',
    mode='min',
    save_top_k=1,
    save_weights_only=True,
    dirpath="C:\\Users\\kanon\\VR_en\\cor_twi_bert_bigginer\\model"
)

trainer = pl.Trainer(
    gpus=0,
    max_epochs=10,
    callbacks = [checkpoint]
)

model = BertForSequenceClassification_pl(
    MODEL_NAME, num_labels=4, lr=1e-5
)

trainer.fit(model, dataloader_train, dataloader_val)

test = trainer.test(test_dataloaders=dataloader_test)

print(f'accuracy: {test[0]["accuracy"]:.2f}')

試したこと

print(len(dataloader_train))
でデータローダーの長さを確認しました。0ではなくバッチ数が表示されました。

補足情報（FW/ツールのバージョンなど）

python 3.7.9
transformers 4.10.2
fugashi 1.1.2
ipadic 1.0.0
pytorch-lightning 1.2.7

Comments

[jbpb0]

> 「BERTによる自然言語処理入門」という本を参考に以下のコードを実装

データも含めて、書籍のコードをそのまま実行した場合は、エラー出ないのでしょうか？

[jbpb0]

> n = len(dataset_for_loader)

を計算して、「n」に入ってる数値はいくつでしょうか？

Answer 1

エラーログをよく読んでみると，trainデータではなくvalidationデータの整合性検証の過程でエラーが起きていることがわかります．したがって，確認すべきはdataloader_trainではありません．dataloader_valになります．

以下にエラーの原因を抜き出しました．

n = len(dataset_for_loader)
n_train = int(0.6*n)
n_val = int(0.2*n)
dataset_val = dataset_for_loader[n_train:n_val]

ここで，n_train > n_valであることは自明です．にもかかわらず，dataset_for_loaderから範囲選択でvalidationデータを抜き出すときの範囲が[n_train:n_val]となっており取り出される配列のサイズはn_val - n_trainにはなるものの，先述の不等式から，抜き出された配列の長さが0 > n_val - n_trainになることがわかります．便利なことに長さが負になることはなく0になったことで，上のようにエラーが起きました．

したがって，次のようにコードを直すと良いでしょう．

dataset_val = dataset_for_loader[n_train: n_train + n_val]

Comments

[karo]

ありがとうございます！
ご指摘いただいた箇所を修正したところエラーがなくなりました。