FastRouter: LLM-Gateway für mehrere Modellanbieter

FastRouter ist ein LLM-Gateway für Entwicklungsteams, die mehrere KI-Anbieter über eine OpenAI-kompatible API nutzen und ihre Kosten, Zugriffe und Ausfälle zentral verwalten möchten. Betreiber ist AI.tech Ltd.

Einfach erklärt: Wofür ist FastRouter da?

FastRouter sitzt zwischen Ihrer Anwendung und den Diensten, die KI-Modelle ausführen. Die Anwendung schickt eine Anfrage an einen gemeinsamen Eingang. Das Gateway leitet sie zum gewählten Modell weiter und liefert die Antwort zurück. Dadurch müssen Teams weniger separate Anbindungen pflegen.

Das passt zu KI-Anwendungen, Agenten und Modelltests. Neben Text umfassen die APIs auch Bild, Video, Audio und Embeddings. Welche Eingaben und Funktionen tatsächlich verfügbar sind, hängt vom Modell und Endpunkt ab. FastRouter ersetzt diese Modelle nicht durch ein eigenes Universalmodell.

Die erste Anfrage kontrolliert anbinden

1. Legen Sie einen Projekt-API-Schlüssel an und speichern Sie ihn sicher: Der vollständige Wert wird nur einmal angezeigt.
2. Prüfen Sie erlaubte Modelle und setzen Sie Budget sowie Anfragelimits.
3. Tragen Sie im OpenAI-kompatiblen Client https://api.fastrouter.ai/api/v1 als Basis-URL und den FastRouter-Schlüssel ein.
4. Senden Sie model und ein messages-Array an Chat Completions; beginnen Sie mit einem kurzen Test ohne sensible Daten.
5. Kontrollieren Sie Antwort, tatsächlich verwendetes Modell, usage.provider, Tokenverbrauch und Kosten im Dashboard.

Die offizielle Einführung enthält ein SDK-Beispiel. Strukturierte Ausgaben und Werkzeugaufrufe benötigen ein passendes Modell; Formatkompatibilität allein genügt nicht.

Modellwahl und Ausfallschutz getrennt steuern

fastrouter/auto berücksichtigt Komplexität, Thema und Kosten bei der Modellwahl. Anbieter-Routing wählt dagegen einen Anbieter für das gewünschte Modell, beispielsweise nach Preis, Latenz oder Durchsatz. Virtuelle Modell-Aliase halten den Namen im Anwendungscode stabil, während Sie die hinterlegte Auswahl ändern.

Für Ausfälle definieren Sie ein primäres model und Ersatzmodelle in models. FastRouter versucht diese nacheinander. Scheitern alle, erhalten Sie weiterhin einen Fehler. Prüfen Sie deshalb mit eigenen Beispielen, ob Ersatzmodelle die benötigten Ausgabeformate und Qualitätsanforderungen erfüllen.

Datenschutz entlang der gesamten Verarbeitung prüfen

Anfragen werden an vorgelagerte Modellanbieter übertragen. Auf FastRouter lässt sich die Inhaltsprotokollierung pro Schlüssel abschalten. Der Zusatz :zdr beschränkt die Auswahl auf geeignete Anbieter ohne Datenaufbewahrung; fehlt ein solcher Anbieter, scheitert die Anfrage.

ZDR deaktiviert jedoch weder FastRouter-Caching noch Plugins, gespeicherten Gesprächszustand oder Inhaltslogs. Außerdem nennt die Datenschutzerklärung andere Aufbewahrungszeiträume als die Tarifübersicht. Lassen Sie die für Ihren Betrieb geltenden Fristen bestätigen. Eine pauschale DSGVO-Zusage oder deutsche Datenresidenz ist damit nicht belegt. Auch die Bedingungen der Modellanbieter und Beschränkungen zum Weiterverkauf von Schlüsseln bleiben relevant.

Nutzung auswerten und Änderungen gezielt testen

Das Dashboard zeigt Anfragen, Tokens, Fehler, Latenz und Kosten. Projektberechtigungen und Schlüsselbudgets helfen, Ausgaben zuzuordnen. Playground, Model Council und Evaluierungen unterstützen Modellvergleiche; Prompt-Verwaltung erleichtert den Betrieb.

Insights erstellt wöchentlich Empfehlungen anhand der vergangenen sieben Tage. Änderungen werden nicht automatisch übernommen, Einsparungen sind Prognosen. Cache- und Flex-Empfehlungen verwenden vorhandene Nutzungsdaten ohne zusätzliche Inferenzkosten; das optionale Model Switch erzeugt kostenpflichtige Testanfragen und Bewertungen. Das MCP Gateway bindet externe Werkzeuge mit Projekt- und Werkzeugauswahl an; deren Beschreibungen und Ergebnisse erhöhen den Kontextverbrauch.

Plattformgebühr und Modellkosten auseinanderhalten

Stand 7. Oktober 2026 nennt die öffentliche USD-Monatsliste Starter für 0, Pro für 199 und Business für 799 US-Dollar. Enterprise wird individuell angeboten. Modellnutzung wird separat berechnet; laut Anbieter ohne Aufschlag auf Modellkosten. Jahresabrechnung und Leistungsumfang stehen in der Tarifübersicht.

Starter umfasst einen BYOK-Schlüssel und eine Million BYOK-Anfragen im Monat, nicht eine Million kostenlose Modellantworten. Response-Caching, Tracing und Guardrails beginnen bei Pro; Selbsthosting gehört zu Enterprise.

Für kostenlose Modelle muss das bezahlte Guthaben über 1 US-Dollar liegen. Solche Aufrufe verbrauchen kein Guthaben. Dokumentiert sind standardmäßig zehn Anfragen je Organisation, Modell und Tag mit Rücksetzung um Mitternacht UTC; Bedingungen können sich ändern.

Häufige Fragen

Ist FastRouter kostenlos?

Die Starter-Plattform kostet nichts. Reguläre Inferenz kostet extra, und kostenlose Modelle haben eigene Guthaben- und Tageslimits.

Kann ich eigene API-Schlüssel verwenden?

Ja. Ein Organization Owner hinterlegt sie unter Setup → External Keys → New Integration und wählt Projekte sowie Modelle. Die BYOK-Anleitung erklärt die Einrichtung. Preise und Limits Ihres Anbieteraccounts gelten weiter.

Bedeutet ZDR, dass keinerlei Daten gespeichert werden?

Nein. Die ZDR-Dokumentation trennt Anbieter-Routing von Gateway-Logs, Caching und weiteren speichernden Funktionen.

Offizielle Ressourcen und Community

• Entwicklerdokumentation: Parameter und Betriebsbedingungen.
• Kontaktformular: Fragen zu Konto, Vertrag und Bereitstellung.
• Offizieller Discord: Austausch mit der Community.