“Sangat andal” hanyalah harapan. SLA adalah angka di dalam kontrak, dengan kompensasi yang jelas jika angka itu tidak tercapai.
Cara kerjanya
SLA menetapkan empat hal: apa yang dicakup, bagaimana downtime diukur, apa yang Anda dapat jika target meleset, dan cara mengajukan klaim. SLA Google untuk API inferensi online Gemini di Gemini Enterprise Agent Platform adalah contoh nyata yang jelas:
- Target. Monthly Uptime Percentage 99,5% untuk metode
generateContentdanstreamGenerateContent(95% untuk model yang ditetapkan dengan ketersediaan lebih singkat). - Downtime. “more than a five percent Error Rate” (terjemahan: Error Rate lebih dari lima persen), di mana error adalah respons HTTP 5XX untuk permintaan yang valid, dan hanya dihitung pada periode “five or more consecutive minutes” (terjemahan: lima menit berturut-turut atau lebih).
- Kredit.
| Uptime bulanan | Kredit atas tagihan bulanan layanan |
|---|---|
| 99,0% sampai di bawah 99,5% | 10% |
| 95,0% sampai di bawah 99,0% | 25% |
| Di bawah 95,0% | 50% |
- Klaim. Pelanggan “must notify Google technical support within 30 days” (terjemahan: wajib memberi tahu dukungan teknis Google dalam 30 hari) dan menyertakan file log yang menunjukkan periode downtime. Kredit dibatasi 50% dari tagihan bulan itu untuk layanan tersebut.
- Pengecualian. Fitur pra-GA, Grounding with Google Search, error dari software pelanggan sendiri, deadline yang lebih pendek dari default server, dan error kuota tidak dicakup.
SLA yang sama menambahkan target latensi untuk beberapa model di bawah Provisioned Throughput, diukur dalam token output per detik. Untuk perbandingan Azure, Amazon Bedrock, OpenAI, Anthropic, dan lainnya, lihat perbandingan SLA API LLM.
Mengapa penting
- Uptime bukan throughput. SLA yang hanya menghitung error 5XX tidak mengatakan apa pun tentang rate limit (429) atau respons lambat, kecuali ada target latensi.
- Kreditnya kecil. Kredit 10% jarang sebanding dengan kerugian gangguan bagi produk Anda. Tetap rancang untuk kegagalan: retry dengan backoff, timeout, dan model fallback atau penyedia cadangan. Lihat panduan error dan retry.
- Baca pengecualiannya. SLA Google mengecualikan fitur pra-GA dan layanan tertentu; periksa pengecualian serupa di SLA mana pun.
- Simpan log Anda sendiri. Klaim butuh bukti. Catat ID permintaan, timestamp, dan kode status.
Di BroadNet Inference
API self-serve BroadNet, baik bayar sesuai pemakaian maupun paket, tidak punya SLA. Ketentuan Layanannya (§7.4) menyatakan: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Terjemahan BroadRouter: Kami berupaya menjaga API tetap tersedia dan memublikasikan apa yang kami ukur, tetapi self-serve tidak memiliki komitmen ketersediaan.) Ketentuan itu menambahkan bahwa “Service levels exist only in a separate written agreement” (Terjemahan BroadRouter: tingkat layanan hanya ada dalam perjanjian tertulis terpisah) dan bahwa endpoint privat serta kapasitas yang dipesan mengikuti perjanjian tersebut. Jika Anda butuh uptime yang dikontrakkan, tanyakan endpoint privat ke BroadNet; artikel perencanaan endpoint privat kami membahas apa saja yang perlu direncanakan. Untuk self-serve, siapkan fallback: checklist memilih penyedia mencatat bahwa kami tidak menemukan SLA, status page, atau kebijakan deprecation di dokumentasi BroadNet.