※本QAは他サイト(Qiita)でマルチポストしております。
他のサイトで回答やヒントなどの情報が得られた場合、自己回答で情報共有させていただきます。
実現したいこと
ノーコードツールのDifyとHugging Faceのmeta-llama/Meta-Llama-3.1-8B-Instructモデルを連携させたいと考えています。
発生している問題・分からないこと
前モデルのmeta-llama/Meta-Llama-3-8B-Instructとの連携は問題がないのですが、Llama3.1の場合後述のエラーメッセージが表示され、連携がされません。
ご知見がある方、解決方法をご教授いただけないでしょうか。
発生している問題・エラー
エラーメッセージ
error
1Only available for models running on with the `text-generation-inference`. To learn more about the TGI project, please refer to https://github.com/huggingface/text-generation-inference.
試したこと・調べたこと
- teratailやGoogle等で検索した
- ソースコードを自分なりに変更した
- 知人に聞いた
- その他
上記の詳細・結果
このモデルがtext-generation-inference
でないというエラーかと推測しましたが、前モデル同様text-generation-inference
の記載があることを確認しております。

回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。