実現したいこと
Claude Code や ChatGPT / Codex 系ツールで、複数の AI Provider やモデルを切り替えて使いたいです。
具体的には、次のような構成を考えています。
- Claude Code
- ChatGPT / Codex 系ツール
- OpenAI互換API
- DeepSeek / Qwen などの外部Provider
- Ollama のローカルLLM
- Token使用量の確認
- Provider障害時のFailover
ツールごとに API Key、Base URL、model name を設定するのではなく、localhost の gateway に集約して管理したいです。
前提
現在は、各AIツールにそれぞれ API Key や Base URL を設定しています。
しかし、複数のモデルを使い分けるようになると、以下のような問題があります。
- API Key がツールごとに分散する
- Base URL や model name の変更が面倒
- どのモデルでどれだけ Token を使ったか分かりにくい
- Provider の rate limit や quota 不足で作業が止まる
- ローカルLLMとクラウドLLMを同じ入口で扱いにくい
試したい構成
AIGateway のようなローカルAIゲートウェイを使い、以下のような構成にしたいです。
text
1Claude Code / ChatGPT / Codex / OpenAI互換クライアント 2 ↓ 3localhost の AIGateway 4 ↓ 5OpenAI互換API / DeepSeek / Qwen / Ollama / その他Provider
以下について、実運用上の注意点やおすすめの構成があれば知りたいです。
Claude Code などのAIコーディングツールを localhost の OpenAI互換 gateway に向ける構成は実用的でしょうか?
OpenAI互換API、DeepSeek、Qwen、Ollama などを同じ gateway で扱う場合、model name や payload format の違いで注意すべき点はありますか?
Token使用量を provider別 / model別に集計する場合、gateway側で見るのがよいでしょうか?
Provider障害や rate limit 対策として、優先度付きFailoverを入れる設計は有効でしょうか?
個人開発や小規模チームで、AIGateway のような local-first gateway を使うメリット・デメリットは何でしょうか?
大規模なクラウド型LLMルーターというより、開発者のローカル環境で AIツール、API Key、モデル、Tokenコスト、Failover をまとめて管理する用途を想定しています。
あなたの回答
tips
プレビュー