transformerのtrainerを初期化したい

Question

実現したいこと

前提

ボールドテキスト
transformerのtrainerを初期化しようとしたところ、エラーが出てしまいました。
エラーの解決法がわからないため、質問させていただきました。

発生している問題・エラーメッセージ

---

ImportError Traceback (most recent call last)
<ipython-input-5-54b0704cc2d8> in <cell line: 96>()
94 from transformers import Trainer, TrainingArguments
95
---> 96 training_args = TrainingArguments(
97 output_dir="./KantaiBERT",
98 overwrite_output_dir=True,

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
1839 if not is_sagemaker_mp_enabled():
1840 if not is_accelerate_available(min_version="0.20.1"):
-> 1841 raise ImportError(
1842 "Using the Trainer with PyTorch requires accelerate>=0.20.1: Please run pip install transformers[torch] or pip install accelerate -U"
1843 )

ImportError: Using the Trainer with PyTorch requires accelerate>=0.20.1: Please run pip install transformers[torch] or pip install accelerate -U

---

NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.

該当のソースコード

#@title Step 1: Loading the Dataset
#1.Load kant.txt using the Colab file manager
#2.Downloading the file from GitHub
!curl -L https://raw.githubusercontent.com/PacktPublishing/Transformers-for-Natural-Language-Processing/master/Chapter03/kant.txt --output "kant.txt"
!pip install accelerate -U
#@title Step 2:Installing Hugging Face Transformers
# We won't need TensorFlow here
!pip uninstall -y tensorflow
# Install `transformers` from master
!pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
# transformers version at notebook update --- 2.9.1
# tokenizers version at notebook update --- 0.7.0

#@title Step 3: Training a Tokenizer
from pathlib import Path

from tokenizers import ByteLevelBPETokenizer

paths = [str(x) for x in Path(".").glob("**/*.txt")]
# Initialize a tokenizer
tokenizer = ByteLevelBPETokenizer()

# Customize training
tokenizer.train(files=paths, vocab_size=52_000, min_frequency=2, special_tokens=[
    "<s>",
    "<pad>",
    "</s>",
    "<unk>",
    "<mask>",])

#@title Step 4: Saving the files to disk
import os
token_dir = '/content/KantaiBERT'
if not os.path.exists(token_dir):
  os.makedirs(token_dir)
tokenizer.save_model('KantaiBERT')

#@title Step 5 Loading the Trained Tokenizer Files
from tokenizers.implementations import ByteLevelBPETokenizer
from tokenizers.processors import BertProcessing

tokenizer = ByteLevelBPETokenizer(
    "./KantaiBERT/vocab.json",
    "./KantaiBERT/merges.txt",
)

#@title Step 6: Checking Resource Constraints: GPU and NVIDIA
!nvidia-smi
#@title Checking that PyTorch Sees CUDAnot
import torch
torch.cuda.is_available()

#@title Step 7: Defining the configuration of the Model
from transformers import RobertaConfig

config = RobertaConfig(
    vocab_size=52_000,
    max_position_embeddings=514,
    num_attention_heads=12,
    num_hidden_layers=6,
    type_vocab_size=1,
)

print(config)

#@title Step 8: Re-creating the Tokenizer in Transformers
from transformers import RobertaTokenizer
tokenizer = RobertaTokenizer.from_pretrained("./KantaiBERT", max_length=512)

#@title Step 9: Initializing a Model From Scratch
from transformers import RobertaForMaskedLM

model = RobertaForMaskedLM(config=config)
print(model)

#@title Step 10: Building the Dataset
from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./kant.txt",
    block_size=128,
)

#@title Step 11: Defining a Data Collator
from transformers import DataCollatorForLanguageModeling

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer, mlm=True, mlm_probability=0.15
)

#@title Step 12: Initializing the Trainer
from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./KantaiBERT",
    overwrite_output_dir=True,
    num_train_epochs=1,
    per_device_train_batch_size=64,
    save_steps=10_000,
    save_total_limit=2,
)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset,
)
#@title Step 13: Pre-training the Model
trainer.train()

試したこと

96行目のtraining_args = TrainingArgumentsの部分でエラーが出ました。
pip install transformers[torch]orpip install accelerate -U`と書かれていたため、二つともインストールしたのですが、動きませんでした。

補足情報（FW/ツールのバージョンなど）

google colabをmacbookで使用しています。

長文ですがよろしくお願いします。

Comments

[jbpb0]

> google colabをmacbookで使用しています。

先ほど、質問の「該当のソースコード」を、全くそのまま無修正でgoogle colabに貼り付けて実行してみましたが、質問のエラーは出ずに、コードの最後まで実行できました

> !pip install accelerate -U

を実行した時点で「accelerate-0.25.0-py3-none-any.whl」がインストールされるので、

> ImportError: Using the Trainer with PyTorch requires accelerate>=0.20.1

というエラーが出るのは変ですね
0.20.1よりも新しい0.25.0がインストールされてるので

Answer 1

!pip install accelerate -U
これを文章の最初に入れたら問題なく動きました。
皆さんありがとうございました。