質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.31%
API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

ノーコード・ローコード

ノーコード・ローコード(高度なコーディング知識や技術が不要なアプリケーションの開発手法)に関する質問を投稿する際にご使用ください。

Q&A

解決済

1回答

380閲覧

DifyとHugging Faceの`meta-llama/Meta-Llama-3.1-8B-Instruct`モデル連携のエラー

Van

総合スコア2

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

ノーコード・ローコード

ノーコード・ローコード(高度なコーディング知識や技術が不要なアプリケーションの開発手法)に関する質問を投稿する際にご使用ください。

0グッド

0クリップ

投稿2024/07/28 22:50

編集2024/07/29 00:37

※本QAは他サイト(Qiita)でマルチポストしております。
他のサイトで回答やヒントなどの情報が得られた場合、自己回答で情報共有させていただきます。

実現したいこと

ノーコードツールのDifyとHugging Faceのmeta-llama/Meta-Llama-3.1-8B-Instructモデルを連携させたいと考えています。

発生している問題・分からないこと

前モデルのmeta-llama/Meta-Llama-3-8B-Instructとの連携は問題がないのですが、Llama3.1の場合後述のエラーメッセージが表示され、連携がされません。
ご知見がある方、解決方法をご教授いただけないでしょうか。

発生している問題・エラー

スクリーンショット 2024-07-29 072211.jpg

エラーメッセージ

error

1Only available for models running on with the `text-generation-inference`. To learn more about the TGI project, please refer to https://github.com/huggingface/text-generation-inference.

試したこと・調べたこと

  • teratailやGoogle等で検索した
  • ソースコードを自分なりに変更した
  • 知人に聞いた
  • その他
上記の詳細・結果

このモデルがtext-generation-inferenceでないというエラーかと推測しましたが、前モデル同様text-generation-inferenceの記載があることを確認しております。

スクリーンショット 2024-07-29 074215.jpg

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

2024/7/29現在
Llama3.1は新しいモデルのため、Hugging FaceをPro Account($9/month)にする必要がありそうでした。
Hugging FaceをPro Accountにすることで問題なく動作することを確認しました。

スクリーンショット 2024-07-29 204205.png

投稿2024/07/29 11:53

Van

総合スコア2

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.31%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問