LLM Gateway: API моделей, маршрутизация и расходы

LLM Gateway — открытый API-шлюз для приложений, использующих нескольких поставщиков языковых моделей. Он объединяет маршрутизацию, управление ключами и анализ расхода. Это помогает менять модели и видеть затраты без поддержки отдельных интеграций и кабинетов для каждого поставщика.

Для чего нужен LLM Gateway: простое объяснение

Представьте приложение поддержки: одна модель определяет тему обращения, другая пишет ответ. Приложение отправляет запросы в LLM Gateway, шлюз передаёт их нужному поставщику и возвращает результат. Здесь же можно проверить стоимость и задержку вызова.

Это инфраструктурный слой, а не самостоятельная модель. Сервисом управляет Polar Lights LLC. Основная аудитория — разработчики и платформенные команды; отдельный интерфейс Lounge позволяет попробовать модели в браузере.

Как подключить приложение и проверить первый запрос

Следуйте официальному руководству:

1. Войдите в панель, создайте проект и получите API-ключ шлюза. Храните его на сервере.
2. Используйте предоплаченные кредиты либо добавьте свои ключи поставщиков в Provider Keys. Ключ шлюза авторизует приложение, а ключ поставщика открывает доступ к вашему аккаунту у него.
3. Выберите доступную модель, проверьте типы входных данных, возможности и размер контекста.
4. Укажите https://api.llmgateway.io/v1 как базовый адрес OpenAI-совместимого клиента. HTTP-запрос к /chat/completions содержит model, messages и Bearer-авторизацию.
5. Проверьте ответ, затем поставщика, токены, задержку и стоимость в панели.

Перед переносом рабочего трафика протестируйте типичные задачи. Совместимость API не означает одинаковую поддержку параметров и инструментов всеми моделями.

Переключение моделей и обработка сбоев

Общий интерфейс упрощает сравнение моделей. Маршрутизация может выбирать поставщика и повторять неудачный запрос через другую подходящую альтернативу. Правила маршрутизации зависят от доступности поставщиков и их ограничений; это не гарантия отсутствия сбоев.

Аналитика помогает находить дорогие модели и медленные вызовы. Лимиты использования и правила доступа для ключей позволяют разделять приложения и ограничивать модели или поставщиков. Кэширование может уменьшать повторную работу, но кэш ответов шлюза отличается от кэша промптов поставщика. Эффект зависит от настроек и характера запросов.

Бесплатный доступ и платные составляющие

Проверено 10 сентября 2026 года: в стандартном облачном сервисе BYOK-маршрутизация не облагается платформенной комиссией, а вычисления оплачиваются поставщику. FAQ указывает комиссию 5% при покупке кредитов. Необязательное хранение полного содержимого добавляет 0,01 USD за миллион токенов. На странице также указана международная комиссия 1,5% для карт вне США; Enterprise рассчитывается индивидуально.

Сверяйтесь с текущими тарифами и фактическими входными и выходными токенами. Бесплатный аккаунт не делает все модели бесплатными. У DevPass и подписок чата отдельные условия. Цены в USD не подтверждают доступность регистрации, оплаты или конкретных карт в России.

Когда имеет смысл самостоятельное размещение

Руководство по развёртыванию описывает Docker, Compose и Kubernetes. Нужны сервисы приложения, PostgreSQL, Redis и ключи поставщиков. Обслуживание, резервные копии, обновления и права доступа становятся задачей команды.

Код шлюза распространяется под AGPLv3; корпоративные функции в ee/ имеют отдельную коммерческую лицензию. Самостоятельное размещение подходит тем, кому нужен контроль инфраструктуры и кто готов её обслуживать. Оно не переносит модели автоматически на ваш сервер: запросы внешнему поставщику по-прежнему обрабатываются у него.

Хранение данных и ограничения нагрузки

По умолчанию сохраняются метаданные. Стандартные организации могут включить полное содержимое. У Responses API отдельное правило: сохранённые ответы удерживаются 30 дней независимо от настройки организации. Для отключения используйте store: false. Подробности — в документации хранения.

Политика конфиденциальности говорит, что шлюз не обучает модели на содержимом клиентов. Выбранные поставщики применяют собственные правила. Есть также лимиты организации, параллельности и поставщика. Квоты бесплатных моделей зависят от статуса кредитов; для ошибок 429 нужны паузы и контроль параллельных запросов.

Частые вопросы

Можно пользоваться бесплатно?

BYOK-маршрутизация бесплатна, но поставщик может брать плату за вычисления. Кредиты и полное хранение оплачиваются отдельно.

Можно сохранить интеграцию OpenAI?

Используйте совместимый API с новым адресом, ключом шлюза и поддерживаемой моделью. Сначала проверьте необходимые возможности.

При самостоятельном размещении всё остаётся локально?

Нет. Вы размещаете шлюз, а внешние модели продолжают обрабатывать переданные им запросы у поставщика.

Промпты никогда не сохраняются?

Это неверное обобщение. Responses API имеет отдельный срок хранения 30 дней и параметр store: false.

Официальные материалы и сообщество

• Документация: API и подключение.
• GitHub: код, лицензии и сообщения об ошибках.
• Discord: помощь команды и разработчиков.
• Статус сервиса: информация о сбоях.