“Ketersediaan tinggi” hanyalah harapan. SLA ialah nombor dalam kontrak, dengan remedi yang ditetapkan apabila nombor itu tidak dicapai.
Cara ia berfungsi
SLA mentakrifkan empat perkara: apa yang dilindungi, cara downtime diukur, apa yang anda dapat apabila sasaran tidak dicapai, dan cara membuat tuntutan. SLA Google untuk Gemini online inference API di Gemini Enterprise Agent Platform ialah contoh sebenar yang jelas:
- Sasaran. Monthly Uptime Percentage 99.5% bagi kaedah
generateContentdanstreamGenerateContent(95% bagi model yang ditetapkan untuk ketersediaan lebih singkat). - Downtime. “more than a five percent Error Rate” (Terjemahan BroadRouter: “Error Rate melebihi lima peratus”), di mana ralat ialah respons HTTP 5XX kepada permintaan yang sah, dikira hanya dalam tempoh “five or more consecutive minutes” (Terjemahan BroadRouter: “lima minit atau lebih berturut-turut”).
- Kredit.
| Uptime bulanan | Kredit pada bil bulanan perkhidmatan |
|---|---|
| 99.0% hingga kurang daripada 99.5% | 10% |
| 95.0% hingga kurang daripada 99.0% | 25% |
| Kurang daripada 95.0% | 50% |
- Tuntutan. Pelanggan “must notify Google technical support within 30 days” (Terjemahan BroadRouter: “mesti memaklumkan sokongan teknikal Google dalam tempoh 30 hari”) dan memberikan fail log yang menunjukkan tempoh downtime. Kredit dihadkan kepada 50% daripada bil bulan itu bagi perkhidmatan tersebut.
- Pengecualian. Ciri pra-GA, Grounding with Google Search, ralat daripada perisian pelanggan sendiri, tarikh akhir yang lebih pendek daripada lalai pelayan, dan ralat kuota tidak dilindungi.
SLA yang sama menambah sasaran kependaman bagi sesetengah model di bawah Provisioned Throughput, diukur dalam token output sesaat. Untuk perbandingan Azure, Amazon Bedrock, OpenAI, Anthropic dan lain-lain secara bersebelahan, lihat perbandingan SLA API LLM.
Mengapa ia penting
- Uptime bukan daya pemprosesan. SLA yang hanya mengira ralat 5XX tidak menyatakan apa-apa tentang had kadar (429) atau respons yang perlahan, kecuali jika ia mempunyai sasaran kependaman.
- Kredit adalah kecil. Kredit 10% jarang menyamai kos gangguan kepada produk anda. Reka bentuk untuk kegagalan juga: cuba semula dengan backoff, tamat masa dan model sandaran atau penyedia lain. Lihat panduan ralat dan cuba semula.
- Baca pengecualian. SLA Google mengecualikan ciri pra-GA dan perkhidmatan yang dinamakan; semak sebarang SLA untuk pengecualian yang serupa.
- Simpan log sendiri. Tuntutan memerlukan bukti. Log ID permintaan, cap masa dan kod status.
Di BroadNet Inference
API layan diri BroadNet, sama ada bayar ikut guna atau pelan, tidak mempunyai SLA. Terma Perkhidmatannya (§7.4) menyatakan: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Terjemahan BroadRouter: “Kami berusaha memastikan API tersedia dan menerbitkan apa yang kami ukur, tetapi self-serve tidak mempunyai komitmen ketersediaan.”) Ia menambah bahawa “Service levels exist only in a separate written agreement” (Terjemahan BroadRouter: “Tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan”) dan bahawa endpoint peribadi dan kapasiti tempahan mengikut perjanjian itu. Jika anda memerlukan uptime berkontrak, tanya BroadNet tentang endpoint peribadi; hantaran perancangan endpoint peribadi kami merangkumi apa yang perlu dirancang. Untuk self-serve, rancang sandaran: senarai semak penyedia mencatat bahawa kami tidak menemui SLA, halaman status atau dasar penamatan dalam dokumentasi BroadNet.