0
0
テーマ、知りたいこと
タイトル通りですが、rinnaやnekoamta、llamaにcyber-agentなど家庭用GPUで動くモデルって結構在ると思うのですが
性能と要求されるスペックなどを考慮するとどれが一番いいと思いますか？
背景、状況
ローカルで言語モデルを動かすって結構ロマン在ると思うのですが、何を使えばいいのか迷っています。
そんなに激強GPUを持っているわけではないので、7B以下で日本語モデルだと何がいいと思いますか？
llama.cppやGPTQの量子化も考慮して皆さんの意見をお聞きしたいです。
回答4件
#1
総合スコア9810
投稿2024/03/24 01:39
用途やスペックが不明なため、回答は難しいと思います。
あと、自分の環境があるのであれば、自分で試したほうが確実です。
#2
総合スコア9810
投稿2024/03/24 05:23
先ほどの発言だけだとアレだと思ったので、一応自分の場合（趣味レベルですが）を書いておきます。
自分の場合はllama.cpp用に変換されたopenchat-3.5-0106を使っています。
海外製なので日本語の対応具合は微妙なところですが、他のモデルだと「特定のフォーマットで返答させる」というのが上手くいかないため、これを使っています。
なので、ただ対話させたい場合であれば、他のモデル（特に日本製）のほうが適切な気がします。
（先ほどの発言の「用途」とはそういうことです）
と上記を書いていて思ったのですが、上記のOpenChat以外で
- 特定のフォーマット（特にjsonなど）で返答させることがしやすい
- 日本語に対応している（日本製が望ましい）
- VRAM8GBでも問題なく動作する（7Bくらい？）
というような、いい感じのモデルは他にありますかね？
他の人の質問に乗っかって悪いですが、知っている人がいれば教えてほしかったりはします。
#3
総合スコア231
投稿2024/03/24 08:22
[香車]東上☆あらし☆海美「
『今(2024(R06)-03Mar)、一般家庭用 GPU では LLM は使用不可』というのが、
VRAM ８GB で Stable Diffusion 系を動かそうとしたワシの意見。
」
#4
総合スコア9810
投稿2024/03/24 09:33
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。