LLM Gateway: Model API, yönlendirme ve maliyet

LLM Gateway, uygulamaları birden fazla dil modeli sağlayıcısına bağlayan açık kaynaklı bir API ağ geçididir. Yönlendirmeyi, anahtar yönetimini ve kullanım analizini bir araya getirir. Ayrı SDK'lar ve fatura panelleriyle uğraşmadan model değiştirmek ve maliyetleri izlemek isteyen geliştiricilere yöneliktir.

LLM Gateway ne işe yarar? Basit bir örnek

Bir müşteri destek uygulamasının soruyu bir modelle sınıflandırdığını, yanıtı başka bir modelle yazdığını düşünün. Uygulama isteği LLM Gateway'e gönderir; ağ geçidi bunu ilgili sağlayıcıya iletir ve sonucu geri döndürür. Aynı noktadan çağrının maliyeti ve gecikmesi de görülebilir.

Ürün kendi başına yanıt üreten bir model değil, altyapı katmanıdır. İşletmecisi Polar Lights LLC'dir. Geliştiriciler ve platform ekipleri için tasarlanmıştır; ayrı Lounge arayüzü modelleri tarayıcıda denemeyi sağlar.

İlk API isteğini gönderme adımları

Resmî başlangıç kılavuzunu izleyin:

1. Panele giriş yapın, proje oluşturun ve ağ geçidi API anahtarını alın. Anahtarı sunucu ortamında saklayın.
2. Kredi kullanın veya Provider Keys üzerinden kendi sağlayıcı anahtarlarınızı ekleyin. Ağ geçidi anahtarı uygulamayı doğrular; sağlayıcı anahtarı ilgili hesabınıza erişir.
3. Güncel katalogdan model seçin; giriş türlerini, özelliklerini ve bağlam sınırını kontrol edin.
4. OpenAI uyumlu istemcinin temel adresini https://api.llmgateway.io/v1 yapın. HTTP isteğinde /chat/completions yoluna model ve messages alanlarını Bearer kimlik doğrulamasıyla gönderin.
5. Yanıtı okuyun; panelde sağlayıcı, token, gecikme ve maliyeti doğrulayın.

Canlı trafiği taşımadan önce gerçek kullanım örneklerini test edin. API uyumluluğu, bütün modellerin aynı parametre ve araçları desteklediği anlamına gelmez.

Model değiştirme ve hatalara karşı alternatif yönlendirme

Ortak entegrasyon, farklı görevler için modelleri karşılaştırmayı kolaylaştırır. Yönlendirme uygun bir sağlayıcı seçebilir ve başarısız isteği başka bir uygun sağlayıcı üzerinden yeniden deneyebilir. Yönlendirme kuralları, kullanılabilir sağlayıcılara ve sınırlara bağlıdır; kesintisiz çalışmayı kesin olarak garanti etmez.

Analizler pahalı modelleri ve yavaş çağrıları belirlemeye yardım eder. Anahtar bazlı kullanım sınırları ve erişim kuralları uygulamaları ayırabilir, model veya sağlayıcı erişimini daraltabilir. Önbellek tekrarlanan işi azaltabilir; ancak ağ geçidinin yanıt önbelleği ile sağlayıcının istem önbelleği farklıdır. Sonuç, ayarlara ve iş yüküne bağlıdır.

Ücretsiz kullanımın ve ücretlerin sınırı

10 Eylül 2026 kontrolüne göre standart barındırılan hizmette BYOK yönlendirmesi platform ücreti olmadan sunulur; model çıkarımı sağlayıcıya ödenir. Fiyat SSS'si kredi satın alırken %5 ücret belirtir. Tam içerik saklama isteğe bağlıdır ve milyon token başına 0,01 USD ekler. ABD dışı kartlar için %1,5 uluslararası ücret de listelenir; Enterprise için teklif gerekir.

Güncel fiyatları ve gerçek giriş/çıkış token tüketimini değerlendirin. Ücretsiz hesap bütün modelleri ücretsiz yapmaz. DevPass ve sohbet aboneliklerinin koşulları ayrıdır. USD tutarları Türkiye'ye özel TL fiyatı veya her ödeme yönteminin kullanılabilirliği anlamına gelmez.

Kendi sunucunuzda çalıştırmak neyi değiştirir?

Kendi altyapınızda barındırma kılavuzu Docker, Compose ve Kubernetes seçeneklerini içerir. Uygulama servisleri, PostgreSQL, Redis ve sağlayıcı kimlik bilgileri gerekir. İşletim, yedekleme, güncelleme ve erişim yönetimi ekibin sorumluluğundadır.

Ağ geçidi AGPLv3 kullanır; ee/ içindeki kurumsal özellikler ayrı ticari lisansa tabidir. Bu seçenek altyapı kontrolü isteyen ve işletim becerisi bulunan ekiplere uygundur. Ağ geçidini barındırmak modeli yerelde çalıştırmaz; dış sağlayıcıya giden çağrılar orada işlenmeye devam eder.

Veri saklama ve çağrı sınırlarını kontrol edin

Varsayılan olarak meta veriler tutulur. Standart kuruluşlar tam içerik saklamayı açabilir. Responses API istisnadır: saklanan yanıtlar bu ayardan bağımsız olarak 30 gün tutulur. Bunu kapatmak için store: false kullanın; saklama kurallarını inceleyin.

Gizlilik politikası, ağ geçidinin müşteri içerikleriyle model eğitmediğini belirtir. Seçilen sağlayıcıların kendi politikaları geçerlidir. Kuruluş, eşzamanlılık ve sağlayıcı sınırları da uygulanır. Ücretsiz model kotası kredi durumuna bağlıdır; 429 hatalarında bekleme ve eşzamanlı istek kontrolü planlayın.

Sık sorulan sorular

Ücretsiz kullanabilir miyim?

BYOK yönlendirmesi ücretsizdir; sağlayıcı çıkarım için ücret alabilir. Krediler ve isteğe bağlı tam saklama ayrı ücretlendirilir.

OpenAI entegrasyonumu koruyabilir miyim?

Uyumlu API'yi yeni temel adres, ağ geçidi anahtarı ve desteklenen modelle kullanabilirsiniz. Modele özgü özellikleri önce test edin.

Kendi sunucumda kurarsam her şey yerel mi kalır?

Hayır. Ağ geçidi sizde çalışır; haricî modeller istekleri sağlayıcıda işlemeye devam eder.

İstemler hiçbir zaman saklanmaz mı?

Bu genel bir kural değildir. Responses API'nin 30 günlük ayrı saklama kuralı ve store: false seçeneği vardır.

Resmî kaynaklar ve geliştirici topluluğu

• Belgeler: API ve entegrasyon bilgileri.
• GitHub: kod, lisans ve sorun bildirimleri.
• Discord: ekip ve geliştirici desteği.
• Hizmet durumu: kesinti bilgileri.