質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

2067閲覧

transformersでconfig.jsonがdoes not appearとなり利用できないことに関して

Mizuiro_sakura

総合スコア5

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2023/02/03 15:06

質問をご覧いただきありがとうございます。
もしお時間があるようでしたら、質問に答えていただけると嬉しいです。

実現したいこと

transformersでモデルをロードしたいと考えています。

前提

以下のコードを用いて、自作したモデルのロードを行いたいと思っています。キャッシュされたファイルの中にconfig.jsonがあることは確認済みですが、なぜか見つからない「does not appear」というエラーが出ます。
モデルをダウンロードして最初の一回はエラーが出ないのですが、2回目以降はこのエラーが出ます。
おそらくキャッシュされたファイルに問題があると思うのですが、対応策が思いつきません。

python

1from transformers import AutoModelForMultipleChoice 2model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa')

発生している問題・エラーメッセージ

Traceback (most recent call last): File "C:\Users\Desktop\Python\deberta_juman_commonsenseqa_sample.py", line 10, in <module> model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa',from_pt=True) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\models\auto\auto_factory.py", line 434, in from_pretrained config, kwargs = AutoConfig.from_pretrained( File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\models\auto\configuration_auto.py", line 852, in from_pretrained config_dict, unused_kwargs = PretrainedConfig.get_config_dict(pretrained_model_name_or_path, **kwargs) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\configuration_utils.py", line 565, in get_config_dict config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\configuration_utils.py", line 620, in _get_config_dict resolved_config_file = cached_file( File "C:\Users\AppData\Local\Programs\Python\Python39\lib\site-packages\transformers\utils\hub.py", line 380, in cached_file raise EnvironmentError( OSError: Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa does not appear to have a file named config.json. Checkout 'https://huggingface.co/Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa/None' for available files.

該当のソースコード

python

1from transformers import AutoModelForMultipleChoice 2model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa')

試したこと

ここに問題に対して試したことを記載してください。

補足情報(FW/ツールのバージョンなど)

他のサイトで

model=AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/deberta-v2-base-juman-finetuned-commonsenseqa',from_pt=True)

のようにfrom_pt=Trueをつけると良いという記述があったため試しましたが、エラーは変わらずでした。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

引数としてフォルダのパスを入れたら動きました

具体的には下記のようにしました。なぜconfig.jsonが読み込まれないのかは謎ですが、動くようになったので、良しとします。

from transformers import AutoModelForMultipleChoice model=AutoModelForMultipleChoice.from_pretrained('C:\\Users\\.cache\\huggingface\\hub\\models--Mizuiro-sakura--deberta-v2-base-juman-finetuned-commonsenseqa')

投稿2023/02/03 16:15

Mizuiro_sakura

総合スコア5

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問