LLM Gateway: API terpadu, perutean dan biaya

LLM Gateway adalah gateway API sumber terbuka untuk menghubungkan aplikasi dengan beberapa penyedia model bahasa. Layanan ini menyatukan perutean, pengelolaan kunci, dan analisis pemakaian sehingga pengembang dapat mengganti model dan memeriksa biaya tanpa merawat banyak integrasi terpisah.

Apa kegunaan LLM Gateway? Contoh sederhana

Bayangkan aplikasi layanan pelanggan yang memakai satu model untuk mengelompokkan pertanyaan dan model lain untuk menulis jawaban. Aplikasi mengirim permintaan ke LLM Gateway, lalu gateway meneruskannya ke penyedia dan mengembalikan hasil. Di titik yang sama, biaya dan latensi panggilan dapat diperiksa.

Produk ini merupakan lapisan infrastruktur, bukan model yang menghasilkan jawaban sendiri. Pengelolanya adalah Polar Lights LLC. Sasaran utamanya pengembang dan tim platform; antarmuka Lounge terpisah memungkinkan percobaan model melalui browser.

Hubungkan aplikasi dan periksa panggilan pertama

Ikuti panduan mulai resmi:

1. Masuk ke dasbor, buat proyek, lalu dapatkan kunci API gateway. Simpan di lingkungan server.
2. Pilih kredit prabayar atau tambahkan kunci penyedia sendiri melalui Provider Keys. Kunci gateway mengautentikasi aplikasi; kunci penyedia mengakses akun Anda pada layanan tersebut.
3. Pilih ID model yang tersedia, lalu periksa jenis masukan, kemampuan, dan batas konteks.
4. Atur URL dasar klien yang kompatibel dengan OpenAI menjadi https://api.llmgateway.io/v1. Permintaan HTTP ke /chat/completions memuat model, messages, dan autentikasi Bearer.
5. Periksa jawaban, kemudian cocokkan penyedia, token, latensi, dan biaya di dasbor.

Uji contoh pekerjaan yang nyata sebelum memindahkan trafik produksi. Kompatibilitas API tidak membuat semua model mendukung parameter dan alat yang sama.

Beralih model dan menangani kegagalan penyedia

Integrasi bersama mempermudah perbandingan model untuk berbagai tugas. Perutean dapat memilih penyedia yang tersedia dan mencoba ulang permintaan gagal melalui alternatif yang memenuhi syarat. Aturan perutean tetap bergantung pada ketersediaan serta batas penyedia, sehingga bukan jaminan tanpa gangguan.

Analitik membantu menemukan model mahal dan panggilan lambat. Batas pemakaian serta aturan akses per kunci memisahkan aplikasi dan membatasi model atau penyedia yang boleh digunakan. Cache dapat mengurangi pekerjaan berulang, tetapi cache respons gateway berbeda dari cache prompt penyedia. Hasilnya bergantung pada pengaturan dan karakter permintaan.

Bedakan layanan gratis, BYOK, dan kredit

Diperiksa pada 10 September 2026: layanan terkelola standar tidak mengenakan biaya platform untuk perutean BYOK; inferensi dibayar langsung ke penyedia. FAQ harga menyebut biaya 5% saat membeli kredit. Penyimpanan isi lengkap bersifat opsional dan menambah USD 0,01 per sejuta token. Halaman harga juga mencantumkan biaya internasional 1,5% untuk kartu di luar AS; Enterprise memerlukan penawaran.

Periksa harga terkini dengan perkiraan token masukan dan keluaran yang realistis. Akun gratis tidak membuat semua model gratis. DevPass dan langganan chat memiliki ketentuan berbeda. Angka USD tersebut bukan harga akhir dalam rupiah atau konfirmasi seluruh metode pembayaran Indonesia.

Kapan perlu hosting sendiri?

Panduan hosting mandiri mencakup Docker, Compose, dan Kubernetes. Sistem memerlukan layanan aplikasi, PostgreSQL, Redis, serta kredensial penyedia. Tim Anda bertanggung jawab atas operasi, pencadangan, pembaruan, dan hak akses.

Kode gateway memakai AGPLv3; fitur perusahaan dalam ee/ memiliki lisensi komersial terpisah. Hosting sendiri cocok untuk tim yang membutuhkan kendali infrastruktur dan mampu mengoperasikannya. Namun, hal itu tidak otomatis menjalankan model secara lokal: permintaan ke penyedia eksternal tetap diproses di sana.

Pahami penyimpanan data dan batas panggilan

Secara bawaan hanya metadata yang disimpan. Organisasi standar dapat mengaktifkan penyimpanan isi lengkap. Responses API memiliki pengecualian: respons yang disimpan dipertahankan 30 hari terlepas dari pengaturan organisasi. Gunakan store: false untuk menonaktifkannya dan baca aturan retensi.

Kebijakan privasi menyatakan gateway tidak memakai konten pelanggan untuk melatih model. Penyedia yang dipilih menerapkan kebijakannya sendiri. Ada pula batas organisasi, konkurensi, dan penyedia; kuota model gratis bergantung pada status kredit. Tangani kesalahan 429 dengan jeda percobaan ulang dan pembatasan permintaan bersamaan.

Pertanyaan umum

Apakah bisa digunakan gratis?

Perutean BYOK gratis, tetapi penyedia dapat menagih inferensi. Kredit dan penyimpanan isi lengkap opsional memiliki biaya tersendiri.

Bisakah integrasi OpenAI lama tetap dipakai?

Gunakan API kompatibel dengan URL dasar baru, kunci gateway, dan model yang didukung. Uji kemampuan khusus sebelum migrasi.

Apakah hosting sendiri membuat semua pemrosesan lokal?

Tidak. Anda menghosting gateway, sedangkan model eksternal tetap memproses permintaan pada penyedianya.

Apakah prompt tidak pernah disimpan?

Itu bukan aturan universal. Responses API mempunyai retensi terpisah selama 30 hari dan opsi store: false.

Sumber resmi dan komunitas pengembang

• Dokumentasi: API dan integrasi.
• GitHub: kode, lisensi, dan laporan masalah.
• Discord resmi: bantuan tim dan pengembang.
• Status layanan: informasi gangguan operasional.