LLM Gateway：大型語言模型 API 閘道與費用管理

LLM Gateway 是提供給開發者與團隊的開源大型語言模型 API 閘道，將多家模型供應商的串接、請求路由、金鑰管理及用量分析集中在同一個入口。當應用程式需要使用不同模型時，它能減少重複串接，也讓每次呼叫的成本與延遲更容易追查。

LLM Gateway 是做什麼的？用實際情境理解

假設你正在開發客服系統：先用一個模型判斷問題類型，再用另一個模型撰寫回覆。逐一串接供應商，就得維護不同介面、金鑰與帳單。LLM Gateway 像是中間的統一轉接站：應用程式把請求送給它，由它轉送到供應商並帶回結果。

它提供的是呼叫與管理模型的基礎設施，而非自行產生答案的新模型。官方營運方為 Polar Lights LLC，主要適合 AI 應用開發者及平台工程團隊；另有獨立的 Lounge 瀏覽器介面可試用模型。

從建立金鑰到驗證第一筆 API 請求

依照官方快速入門，可採用以下流程：

1. 登入控制台，建立專案並取得閘道 API 金鑰，保存在伺服器端環境中。
2. 選擇預付額度，或在 Provider Keys 加入自己的供應商金鑰。閘道金鑰負責應用程式驗證，供應商金鑰則用來存取你的上游帳戶。
3. 從目前的模型目錄挑選模型 ID，檢查輸入類型、能力與上下文限制。
4. 將相容 OpenAI 的用戶端基礎位址設為 https://api.llmgateway.io/v1。直接發送 HTTP 時，向 /chat/completions 提交 model、messages，並採用 Bearer 驗證。
5. 確認模型回覆，再到控制台核對供應商、Token、延遲與費用。正式切換流量前，先用業務範例測試。

介面相容能降低改造成本，但不同模型的工具呼叫、參數及多模態能力仍有差異，不能假設全部功能都能直接沿用。

切換模型、備援路由與重複工作最佳化

統一 API 讓團隊更容易比較模型在不同任務中的表現。對於有多個可用供應商的模型，閘道可依路由規則選擇上游，遇到錯誤時重新嘗試或切換至合適的備援供應商。實際行為應查看路由文件，不能將備援機制當成永不中斷的保證。

請求分析有助於找出昂貴的模型或變慢的呼叫。金鑰用量上限與存取規則，則方便按應用程式管理模型和供應商範圍。快取能減少部分重複工作，但閘道回應快取與上游提示詞快取不同，收益取決於工作負載、設定及模型支援。

免費、自備金鑰與儲值方案的費用差在哪？

截至 2026 年 9 月 10 日，標準託管服務的 BYOK 路由不收平台費，模型推論費用直接由供應商收取。使用預付額度時，模型依供應商費率計價，官方 FAQ 說明購買額度時收取 5% 手續費。

完整請求內容的保存屬於選配，每百萬 Token 另計 0.01 美元。定價頁還列出非美國信用卡的 1.5% 國際手續費；Enterprise 需另行詢價。請查看最新定價，這些美元條件並非新臺幣最終價格，也不代表已確認所有臺灣付款方式。

估算時應分別看輸入與輸出 Token，以及真正使用的模型。免費帳戶不等於所有模型免費；DevPass 和聊天訂閱也有獨立條件，不能套用一般 API 額度方案。

自行部署適合誰？不等於模型在本機執行

自行部署指南涵蓋 Docker、Docker Compose 和 Kubernetes。系統需要應用服務、PostgreSQL、Redis 及供應商憑證，團隊必須自行負責營運、備份、更新與權限。

閘道程式碼使用 AGPLv3，ee/ 目錄內的企業功能有另外的商業授權。自行部署適合需要基礎設施控制且具備維運能力的團隊；想先完成串接的開發者可以評估託管方式。只要請求送往外部供應商，推論仍由對方處理，不會因為閘道自架就自動變成本機模型。

上線前確認資料保存與呼叫限制

預設僅保存中繼資料，標準組織可選擇保存完整內容。但 Responses API 有例外：已儲存回應保留 30 天，不受組織僅保存中繼資料設定的排除；需要停止這項儲存時，使用 store: false。請依實際端點核對資料保存規則。

隱私政策表示閘道不以客戶提示詞和回應訓練模型，但選定的供應商仍適用自己的資料政策。敏感資訊需要同時評估兩層服務。另有組織、同時請求及上游限制，免費模型額度亦與儲值狀態有關；遇到 429 回應時，可按限流文件安排退避和併發控制，避免把付費存取當成無限呼叫。

常見問題

LLM Gateway 可以免費使用嗎？

BYOK 路由免費，上游推論仍依供應商規則收費。購買額度和選配完整保存各有費用，免費模型也有上限。

現有 OpenAI 專案能串接嗎？

可以採用相容介面，更換基礎位址、閘道金鑰及支援的模型 ID；遷移前仍應測試模型功能與回傳結果。

自行部署後，所有資料都留在自己的伺服器嗎？

不是。自架的是閘道，外部模型供應商仍會接收並處理轉送的請求。

預設不保存提示詞適用所有 API 嗎？

不能一概而論。Responses API 有獨立的 30 天儲存規則，可用 store: false 停用。

官方資源與開發者社群

• 官方文件：介面能力與串接說明。
• GitHub 開源專案：程式碼、授權及問題回報。
• 官方 Discord：與團隊和開發者交流。
• 服務狀態頁：追蹤服務異常。