transformersでconfig.jsonがdoes not appearとなり利用できないことに関して

質問をご覧いただきありがとうございます。
もしお時間があるようでしたら、質問に答えていただけると嬉しいです。

実現したいこと

transformersでモデルをロードしたいと考えています。

前提

以下のコードを用いて、自作したモデルのロードを行いたいと思っています。キャッシュされたファイルの中にconfig.jsonがあることは確認済みですが、なぜか見つからない「does not appear」というエラーが出ます。
モデルをダウンロードして最初の一回はエラーが出ないのですが、2回目以降はこのエラーが出ます。
おそらくキャッシュされたファイルに問題があると思うのですが、対応策が思いつきません。

python
1from transformers import AutoModelForMultipleChoice
2model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa')

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\Desktop\Python\deberta_juman_commonsenseqa_sample.py", line 10, in <module>
    model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa',from_pt=True)
  File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\models\auto\auto_factory.py", line 434, in from_pretrained
    config, kwargs = AutoConfig.from_pretrained(
  File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\models\auto\configuration_auto.py", line 852, in from_pretrained
    config_dict, unused_kwargs = PretrainedConfig.get_config_dict(pretrained_model_name_or_path, **kwargs)
  File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\configuration_utils.py", line 565, in get_config_dict
    config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs)
  File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\configuration_utils.py", line 620, in _get_config_dict
    resolved_config_file = cached_file(
  File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\utils\hub.py", line 380, in cached_file
    raise EnvironmentError(
OSError: Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa does not appear to have a file named config.json. Checkout 'https://huggingface.co/Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa/None' for available files.

該当のソースコード

python
1from transformers import AutoModelForMultipleChoice
2model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa')

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

他のサイトで

model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa',from_pt=True)

のようにfrom_pt=Trueをつけると良いという記述があったため試しましたが、エラーは変わらずでした。

回答1件

自己解決

引数としてフォルダのパスを入れたら動きました

具体的には下記のようにしました。なぜconfig.jsonが読み込まれないのかは謎ですが、動くようになったので、良しとします。

from transformers import AutoModelForMultipleChoice
model=AutoModelForMultipleChoice.from_pretrained('C:\\Users\\.cache\\huggingface\\hub\\models--Mizuiro-sakura--deberta-v2-base-juman-finetuned-commonsenseqa')

投稿2023/02/03 16:15

Mizuiro_sakura

総合スコア5