教師付き分類モデルで 'str' object has no attribute 'dim'

Question

こちらのページで紹介されているコードをそっくりそのまま利用してgoogle colabで実行したところ、

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-69-1c35e1d08a13> in <module>()
     13 
     14     #train model
---> 15     train_loss, _ = train()
     16 
     17     #evaluate model

5 frames
/usr/local/lib/python3.6/dist-packages/torch/nn/functional.py in linear(input, weight, bias)
   1686         if any([type(t) is not Tensor for t in tens_ops]) and has_torch_function(tens_ops):
   1687             return handle_torch_function(linear, tens_ops, input, weight, bias=bias)
-> 1688     if input.dim() == 2 and bias is not None:
   1689         # fused op is marginally faster
   1690         ret = torch.addmm(bias, input, weight.t())

AttributeError: 'str' object has no attribute 'dim'

こちらのエラーが発生しました。
15行目でtrain()を呼んでいるのですが、より詳しくは

# function to train the custom BERT model
def train():  
  
  model.train()
  total_loss, total_accuracy = 0, 0

  # empty list to save model predictions
  total_preds=[]

  # iterate over batches
  for step, batch in enumerate(train_dataloader):
    print(batch)
    # progress update after every 50 batches.
    if step % 50 == 0 and not step == 0:
      print('  Batch {:>5,}  of  {:>5,}.'.format(step, len(train_dataloader)))

    batch = [r for r in batch] 
    sent_id, mask, labels = batch

    model.zero_grad()        

    # get model predictions for the current batch
    preds = model(sent_id, mask)

この最後の行で止まっているようです。

自分で調べたところ、transformerのバージョンを下げると直る、というような記事を見つけたため試してみましたが、解決には至りませんでした。transformer3.0.0を利用しています。

素人質問で大変恐縮ですが、何卒ご教示のほどよろしくお願いいたします。

Comments

[jbpb0]

これかな？
https://github.com/huggingface/transformers/issues/9195

[maplesugar_17]

これは、preds = model(sent_id, mask)の部分を変更すれば良いのでしょうか...？

[maplesugar_17]

解決しましたが、新たなエラーが見つかりました：（RuntimeError: weight tensor should be defined either for all 2 classes or no classes but got weight tensor of shape: [3]）何卒ご教示ください...

[jbpb0]

> preds = model(sent_id, mask)の部分を変更すれば良いのでしょうか...？

違います
def forward(...
の中の
_, cls_hs = self.bert(...
を、上記Webページ内のLysandreJikさんが書かれてる方法で修正します (二通り書かれてるどちらかに)

Answer 1

Error "if input.dim() == 2 and bias is not None" #9195