LLM Gateway：LLM API接続と料金・ルーティング

LLM Gatewayは、複数の言語モデル提供会社を一つのAPIから利用するためのオープンソースLLMゲートウェイです。リクエストの振り分け、キー管理、利用状況の分析をまとめ、モデルごとに別々のSDKや請求画面を管理する負担を減らします。

LLM Gatewayは何に使うサイト？身近な例で説明

問い合わせ対応アプリで、内容の分類にはあるモデル、返信文の作成には別のモデルを使うとします。アプリはLLM Gatewayへリクエストを送り、ゲートウェイが提供会社へ転送して結果を返します。その中継点で、呼び出しごとの費用や応答時間も確認できます。

つまり、自ら回答を作る新しいモデルではなく、モデルを使うための基盤です。運営会社はPolar Lights LLCで、主な対象はアプリ開発者や基盤担当チームです。別のLounge画面では、ブラウザーからモデルを試せます。

最初のAPI呼び出しを実行して確認する

公式クイックスタートに沿って進めます。

1. 管理画面へログインし、プロジェクトを作成してゲートウェイのAPIキーを取得します。キーはサーバー側で保管します。
2. 前払いクレジットを使うか、Provider Keysに自分の提供会社のキーを登録します。アプリ用のゲートウェイキーと、上流のアカウント用のキーは役割が異なります。
3. 現在利用できるモデルIDを選び、入力形式、機能、コンテキスト上限を確認します。
4. OpenAI互換クライアントのベースURLをhttps://api.llmgateway.io/v1に設定します。HTTPでは/chat/completionsへmodelとmessagesを送り、Bearer認証を使います。
5. 返されたメッセージを確認し、管理画面で提供会社、トークン数、遅延、費用を照合します。

本番の切り替え前に、実際の業務に近い入力で試してください。APIが互換でも、すべてのモデルで同じ引数やツール機能が使えるとは限りません。

モデルの切り替えと障害時の再試行

共通のAPIを使うと、用途ごとのモデル比較を進めやすくなります。利用可能な提供会社を選ぶルーティングや、エラー時に別の適切な提供会社へ再試行する仕組みがあります。ルーティングの仕様は、上流の稼働状況と制限にも左右されるため、無停止を保証するものではありません。

利用分析は、費用の高いモデルや遅い呼び出しの発見に役立ちます。キー単位の利用上限やアクセス規則により、アプリごとに利用範囲を分けられます。キャッシュも重複処理の削減に使えますが、ゲートウェイの応答キャッシュと提供会社のプロンプトキャッシュは別の仕組みです。効果は設定や入力内容、モデルの対応状況によって変わります。

無料枠・BYOK・クレジットの料金を区別する

2026年9月10日の確認では、標準ホスティングのBYOKルーティングにプラットフォーム料金はなく、推論費用は提供会社へ直接支払います。クレジット購入時の手数料は公式FAQで5%とされています。完全なリクエスト内容の保存は任意で、100万トークンあたり0.01米ドルが追加されます。米国外のカードには1.5%の国際手数料も記載され、Enterpriseは個別見積もりです。

最新料金を確認し、入力と出力のトークン数を分けて見積もってください。無料アカウントでも全モデルが無料になるわけではありません。DevPassとチャット契約は別条件です。米ドル表示は日本円での最終価格や国内の全決済手段の対応を保証しません。

セルフホストで管理できる範囲

セルフホストの手順にはDocker、Compose、Kubernetesがあります。アプリの各サービス、PostgreSQL、Redis、提供会社のキーが必要になり、運用、バックアップ、更新、権限管理は自チームの責任です。

ゲートウェイのコードはAGPLv3で、ee/内の企業向け機能には別の商用ライセンスがあります。基盤を管理する能力があり、配置を自分で決めたいチーム向けの選択肢です。ただし、ゲートウェイを自社で動かしても外部モデルまでローカルにはなりません。外部提供会社へのリクエストは、引き続きその会社で処理されます。

データ保存と呼び出し制限を確認する

標準ではメタデータのみが保存され、通常の組織は完全な内容の保存を選べます。ただしResponses APIには例外があり、保存された応答は組織の設定とは独立して30日間保持されます。停止するにはstore: falseを指定します。データ保持の説明を利用するAPIに合わせて確認してください。

プライバシーポリシーは、ゲートウェイが顧客の内容をモデル学習に使わないと説明しています。選んだ提供会社には独自の方針があります。また組織・同時実行・上流の制限も適用され、無料モデルの枠はクレジットの状態で異なります。429に対する待機と並列数の制御を用意しましょう。

よくある質問

無料で使えますか？

BYOKのルーティングは無料ですが、提供会社の推論費用は別です。クレジットと任意の完全保存にも独自の料金があります。

既存のOpenAI連携は使えますか？

互換APIにベースURL、ゲートウェイキー、対応モデルIDを設定します。必要なモデル機能は移行前にテストしてください。

セルフホストなら全処理が社内に残りますか？

いいえ。自社に置くのはゲートウェイで、外部モデルは提供会社側でリクエストを処理します。

プロンプトは一切保存されないのですか？

一律には言えません。Responses APIには30日間の独立した保存規則があり、store: falseで停止できます。

公式資料と開発者コミュニティ

• 公式ドキュメント：API機能と接続手順。
• GitHub：コード、ライセンス、不具合報告。
• 公式Discord：チームや開発者への相談。
• 稼働状況：障害情報の確認。