LLM Gateway: Modell-API, Routing und Kosten

LLM Gateway ist ein quelloffenes API-Gateway für Sprachmodelle. Entwickler können mehrere Modellanbieter über eine gemeinsame Schnittstelle ansprechen, Anfragen weiterleiten und ihre Nutzungskosten nachvollziehen. Besonders hilfreich ist das bei Anwendungen, die verschiedene Modelle einsetzen und bisher getrennte Zugangsdaten, SDKs und Abrechnungen verwalten.

Einfach erklärt: Wofür ist LLM Gateway da?

Stellen Sie sich eine Support-Anwendung vor: Ein Modell ordnet eine Nachricht ein, ein anderes formuliert die Antwort. LLM Gateway übernimmt die Vermittlung zwischen Anwendung und Anbietern. Die Anwendung schickt ihre Anfrage an das Gateway und erhält darüber die Modellantwort zurück. An derselben Stelle lassen sich Kosten und Laufzeiten kontrollieren.

Das Produkt ist eine Infrastrukturkomponente, kein eigenständiges Sprachmodell. Betreiber ist Polar Lights LLC. Es richtet sich vor allem an Entwicklungsteams und Plattformverantwortliche; mit der separaten Lounge lassen sich Modelle auch im Browser ausprobieren.

Eine bestehende Anwendung anschließen

Der offizielle Schnellstart beschreibt den Einstieg:

1. Im Dashboard anmelden, ein Projekt erstellen und einen Gateway-API-Schlüssel anlegen. Den Schlüssel serverseitig speichern.
2. Guthaben verwenden oder eigene Anbieterschlüssel unter Provider Keys hinterlegen. Gateway- und Anbieterschlüssel erfüllen unterschiedliche Aufgaben.
3. Eine aktuelle Modell-ID wählen und benötigte Fähigkeiten sowie Kontextgrenzen prüfen.
4. Beim OpenAI-kompatiblen Client https://api.llmgateway.io/v1 als Basisadresse und den Gateway-Schlüssel eintragen. HTTP-Anfragen an /chat/completions enthalten model und messages sowie Bearer-Authentifizierung.
5. Die Antwort und anschließend Anbieter, Tokenverbrauch, Laufzeit und Kosten im Dashboard prüfen.

Vor einer produktiven Umstellung sollten typische Anfragen getestet werden. Eine kompatible Schnittstelle garantiert keine identischen Modellfunktionen oder Parameter.

Routing, Ausweichanbieter und Kostenkontrolle

Mit einer gemeinsamen Integration lassen sich Modelle leichter vergleichen. Bei geeigneten Alternativen kann das Gateway einen Anbieter auswählen und fehlgeschlagene Anfragen erneut versuchen oder weiterleiten. Die Routing-Dokumentation erklärt die Regeln. Verfügbarkeit und Limits der Anbieter bleiben entscheidend; ein störungsfreier Betrieb ist damit nicht garantiert.

Nutzungsanalysen zeigen teure Modelle oder langsame Aufrufe. Schlüsselbezogene Nutzungslimits und Zugriffsregeln helfen, Anwendungen voneinander zu trennen. Caching kann wiederholte Arbeit reduzieren. Antwort-Caching im Gateway und Prompt-Caching beim Anbieter sind jedoch unterschiedliche Verfahren und hängen von Konfiguration und Modellunterstützung ab.

Was ist kostenlos, was wird berechnet?

Stand 10. September 2026: BYOK-Routing ist im regulären gehosteten Dienst ohne Plattformgebühr möglich; die Modellnutzung bezahlen Sie direkt beim Anbieter. Bei Guthaben nennt die Preis-FAQ eine Gebühr von 5 % beim Kauf. Die freiwillige Speicherung vollständiger Anfragen kostet zusätzlich 0,01 USD pro Million Token. Für Karten außerhalb der USA nennt die Preisseite außerdem 1,5 % internationale Gebühr; Enterprise wird individuell angeboten.

Prüfen Sie die aktuellen Preise und rechnen Sie mit tatsächlichen Eingabe- und Ausgabetokens. Ein kostenloses Gateway-Konto bedeutet keine kostenlose Nutzung aller Modelle. DevPass und Chat-Abonnements haben eigene Bedingungen. Aus den USD-Angaben folgt keine bestätigte Verfügbarkeit jeder Zahlungsart in Deutschland.

Selbst betreiben oder den Cloud-Dienst nutzen?

Die Self-Hosting-Anleitung bietet Docker, Compose und Kubernetes. Zur Infrastruktur gehören Dienste des Gateways, PostgreSQL, Redis und Anbieterschlüssel. Betrieb, Backups, Updates und Zugriffsverwaltung liegen dann bei Ihrem Team.

Der Gateway-Code steht unter AGPLv3; für Enterprise-Funktionen in ee/ gelten separate kommerzielle Lizenzen. Self-Hosting passt zu Teams mit Betriebswissen und besonderen Infrastrukturwünschen. Es macht die Modellberechnung nicht automatisch lokal: Externe Anbieter erhalten weiterhin die an sie weitergeleiteten Anfragen.

Datenschutz und Limits vor dem Start prüfen

Standardmäßig werden Metadaten gespeichert. Vollständige Inhalte können reguläre Organisationen optional aufbewahren. Eine wichtige Ausnahme ist die Responses API: Gespeicherte Antworten bleiben unabhängig davon 30 Tage erhalten; store: false deaktiviert diese Speicherung. Details stehen in den Aufbewahrungsregeln.

Laut Datenschutzerklärung verwendet das Gateway Kundeninhalte nicht zum Modelltraining. Die ausgewählten Anbieter haben eigene Datenregeln. Zusätzlich gelten organisationsbezogene, parallele und vorgelagerte Aufruflimits; kostenlose Modelle hängen auch vom Guthabenstatus ab. Für 429-Antworten sollten Wartezeiten und begrenzte Parallelität vorgesehen werden.

Häufige Fragen

Kann ich LLM Gateway kostenlos nutzen?

BYOK-Routing ist kostenlos, die Modellberechnung beim Anbieter nicht automatisch. Guthaben und optionale Inhaltsspeicherung werden separat berechnet.

Funktioniert meine OpenAI-Integration weiter?

Die kompatible API lässt sich mit neuer Basisadresse, Gateway-Schlüssel und unterstützter Modell-ID nutzen. Modellfunktionen vorher testen.

Bleiben beim Self-Hosting alle Daten auf meinem Server?

Nein. Dort läuft das Gateway; externe Modelle verarbeiten weitergeleitete Anfragen beim jeweiligen Anbieter.

Werden Prompts grundsätzlich nie gespeichert?

Nein. Neben der optionalen Inhaltsspeicherung hat die Responses API eine separate 30-Tage-Regel und die Option store: false.

Offizielle Ressourcen und Community

• Dokumentation: Schnittstellen und Integration.
• GitHub: Code, Lizenzen und Fehlermeldungen.
• Discord: Austausch mit Entwicklern und Team.
• Statusseite: Störungen und Betriebszustand.