Cari “SLA API LLM” dan anda akan mendapat jadual yang saling bercanggah. Artikel ini melangkau jadual itu dan membaca sumbernya: halaman SLA atau terma setiap penyedia sendiri, disemak pada 15 November 2026. Bagi setiap satu, kami mencatat sasaran masa operasi, apa yang dikira sebagai gangguan, kredit perkhidmatan, sebarang sasaran kependaman dan peringkat yang dilindungi. BroadRouter ialah laman web BroadNet, jadi BroadNet ada dalam senarai, dan ia salah satu penyedia tanpa SLA pada layan diri.
Apakah sebenarnya yang dijanjikan oleh SLA API LLM?
SLA ialah sasaran bertulis dengan remedi. Ia tidak membuatkan API terus berfungsi. Ia menyatakan apa yang berlaku pada bil anda apabila API tidak berfungsi. Setiap SLA di bawah mempunyai empat bahagian yang sama:
- Sasaran. Biasanya peratusan masa operasi bulanan bagi setiap rantau, projek atau sumber.
- Takrif gangguan. Hampir selalu ralat pelayan sahaja: respons 500 atau 5XX kepada permintaan yang sah. Had kadar 429 bukan gangguan. Begitu juga jawapan yang perlahan atau salah.
- Remedi. Peratusan bil bulan itu bagi perkhidmatan yang terjejas, dikreditkan kepada bil akan datang dan dihadkan.
- Proses tuntutan. Anda memohon kredit, dengan log anda sendiri, dalam tempoh tertentu.
Peratusan itu diterjemahkan kepada minit seperti berikut, bagi bulan 30 hari dengan 43,200 minit:
| Masa operasi bulanan | Gangguan yang dibenarkan |
|---|---|
| 99.9% | kira-kira 43 minit |
| 99.5% | 216 minit |
| 99.0% | 432 minit |
| 95.0% | 36 jam |
API LLM manakah yang menerbitkan SLA?
Semua baris dibaca daripada halaman penyedia sendiri pada 15 November 2026. “Tidak ditemui” bermaksud halaman yang kami semak tidak menyatakan SLA; ia tidak menolak kemungkinan kontrak persendirian.
| Penyedia dan perkhidmatan | Sasaran masa operasi | Dikira sebagai gangguan | Kredit | SLA kependaman | Siapa yang dilindungi |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (termasuk model Azure OpenAI) | 99.9% | Permintaan yang memulangkan kod ralat, dipuratakan setiap minit | 10% di bawah 99.9%, 25% di bawah 99% | Ya, untuk Provisioned Managed deployments dan Priority Processing | Foundry Models sold by Azure; peringkat Developer dikecualikan |
| Amazon Bedrock | 99.9% (kredit bermula di bawahnya) | Permintaan yang memulangkan kod ralat 500, setiap selang 5 minit, setiap rantau | 10%, 25% di bawah 99.0%, 100% di bawah 95.0% | Tiada dalam SLA | Bedrock di setiap rantau AWS |
| Google, API inferens dalam talian Gemini | 99.5% (95% untuk model dengan ketersediaan lebih singkat) | Kadar ralat 5XX melebihi 5% selama 5 minit berturut-turut atau lebih | 10%, 25% di bawah 99.0%, 50% di bawah 95.0% | Ya, di bawah Provisioned Throughput pada endpoint global | generateContent dan streamGenerateContent |
| OpenAI, Scale Tier | 99.9% | Tidak ditakrifkan pada halaman awam | Tidak dinyatakan pada halaman awam | 99% masa melebihi lantai token sesaat bagi setiap model | Pelanggan Enterprise, unit token dibeli untuk sekurang-kurangnya 30 hari |
| OpenAI, bayar ikut guna standard | Tidak ditemui | – | – | – | – |
| API Anthropic | Tidak ditemui; terma menyatakan “as is” dan “as available” (Terjemahan: seadanya dan setakat tersedia) | – | – | – | – |
| Fireworks AI, Reserved Throughput | Terma masa operasi 99.9% | Tidak dinyatakan pada halaman harga | Tidak dinyatakan | SLA daya pemprosesan | Kapasiti terpelihara sahaja; lebihan tidak dilindungi |
| Together AI | Serverless: tiada dinyatakan. “Provisioned Throughput: Token-based capacity with SLAs” (Terjemahan: Provisioned Throughput: kapasiti berasaskan token dengan SLA) (terma tidak diterbitkan pada halaman) | – | – | – | Tanya pasukan jualan untuk terma SLA |
| BroadNet Inference, layan diri | Tiada: “no availability commitment” (Terjemahan: tiada komitmen ketersediaan) | – | – | – | Tahap perkhidmatan hanya dalam perjanjian bertulis yang berasingan |
Bagaimanakah SLA hyperscaler berbeza?
Microsoft Azure. Halaman Learn Microsoft menyatakan Foundry Models sold by Azure “include all Azure OpenAI models” (Terjemahan: termasuk semua model Azure OpenAI) dan “covered by Azure service-level agreements” (Terjemahan: dilindungi oleh SLA Azure). SLA disatukan (edisi Oktober 2026) mentakrifkan Error Rate setiap minit dan Uptime Percentage sebagai 100% tolak purata kadar ralat. Kredit ialah 10% di bawah 99.9% dan 25% di bawah 99%. Kredit hanya terpakai pada Foundry Models sold by Azure, dan “The Developer tier of the Foundry Models service is not covered by this SLA.” (Terjemahan: Peringkat Developer bagi perkhidmatan Foundry Models tidak dilindungi oleh SLA ini.) Untuk Provisioned Managed deployments dan Priority Processing, SLA kedua mengukur token sesaat berbanding sasaran setiap model dalam dokumentasi produk, dengan kredit 10% jika pencapaian jatuh di bawah 99%.
Amazon Bedrock. AWS komited kepada “commercially reasonable efforts” (Terjemahan: usaha yang munasabah dari segi komersial) untuk memenuhi jadual masa operasi. Ketersediaan ialah “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (Terjemahan: peratusan Permintaan yang diproses oleh Amazon Bedrock yang tidak gagal dengan Ralat), dan Ralat ialah “any Request that returns a 500 error code” (Terjemahan: sebarang Permintaan yang memulangkan kod ralat 500). Ia dikira bagi setiap rantau, dan selang tanpa permintaan dikira sebagai tersedia sepenuhnya. Pengecualian termasuk tindakan pelanggan seperti “scaling of provisioned throughput” (Terjemahan: penskalaan provisioned throughput) dan perisian model yang menyebabkan “repeated model crashes or an inoperable model” (Terjemahan: model ranap berulang kali atau model yang tidak dapat beroperasi). SLA itu tiada sasaran kependaman.
Google Cloud. SLA inferens dalam talian Gemini adalah yang paling ketat tentang apa yang dikira. Gangguan memerlukan kadar ralat respons 5XX melebihi 5%, berterusan selama “five or more consecutive minutes” (Terjemahan: lima minit berturut-turut atau lebih). Kredit dihadkan pada 50% daripada bil bulan itu bagi perkhidmatan tersebut, anda mesti memaklumkan sokongan dalam masa 30 hari dengan fail log, dan SLA itu ialah “sole and exclusive remedy” (Terjemahan: remedi tunggal dan eksklusif) anda. Grounding with Google Search, ralat kuota dan tarikh akhir yang lebih pendek daripada lalai pelayan dikecualikan. Di bawah Provisioned Throughput, SLA kependaman meliputi sesetengah model Gemini 2.5 pada endpoint global, diukur sebagai token sesaat p50 bagi setiap selang 5 minit. Jika anda sebaliknya menggunakan model terbuka anda sendiri di Vertex AI, SLA Vertex AI Platform yang berasingan meliputi ramalan dalam talian model tersuai pada 99.5%, tetapi hanya “for models deployed on 2 or more nodes” (Terjemahan: untuk model yang digunakan pada 2 nod atau lebih).
Bagaimana pula dengan OpenAI dan Anthropic secara langsung?
OpenAI. Halaman Scale Tier menyatakan: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (Terjemahan: Trafik Scale Tier menawarkan SLA masa operasi 99.9% dan pengkomputeran yang diutamakan.) Jadualnya memadankan itu dengan SLA kependaman bagi setiap model, seperti “99% > 50 tokens per second” (Terjemahan: 99% melebihi 50 token sesaat), dikira sebagai kependaman permintaan p50 setiap 5 minit. Halaman itu menyatakan “This offering is available to Enterprise customers” (Terjemahan: Tawaran ini tersedia untuk pelanggan Enterprise), bahawa setiap unit token dibeli “for a minimum of 30 days” (Terjemahan: untuk minimum 30 hari), dan bahawa Scale Tier meliputi model yang dikeluarkan sebelum GPT-5.6, dengan Reserved Tier untuk model kemudian. Kami tidak menemui SLA masa operasi yang dilampirkan pada penggunaan bayar ikut guna standard. (openai.com menyekat pengambil kami, jadi kami membaca halaman itu daripada tangkapan Internet Archive pada 7 November 2026.)
Anthropic. Commercial Terms awam (berkuat kuasa 17 Jun 2025) tidak mengandungi SLA atau kredit perkhidmatan. Seksyen L.2 menyediakan perkhidmatan “AS IS” dan “AS AVAILABLE” (Terjemahan: seadanya dan setakat tersedia) dan menafikan bahawa penggunaan “WILL BE UNINTERRUPTED” (Terjemahan: tidak akan terganggu). Perjanjian perusahaan mungkin berbeza, tetapi ia tidak didedahkan kepada umum.
Apakah yang tidak dibeli oleh SLA?
- Masa operasi itu sendiri. Kredit dibayar selepas gangguan. Pengguna anda tetap melihatnya.
- Kapasiti. Pendikitan (429) berada di luar setiap takrif masa operasi di atas. Google secara jelas mengecualikan “quotas applied by the system” (Terjemahan: kuota yang dikenakan oleh sistem). Lihat cara mengendalikan ralat 429.
- Kelajuan. Hanya peringkat provisioned atau reserved yang mempunyai sasaran token sesaat. Pada trafik standard, jawapan yang perlahan tetap jawapan yang berjaya. Metrik kependaman dijelaskan.
- Kualiti. Respons 200 dengan jawapan yang salah bukan gangguan di mana-mana.
- Wang yang banyak. Kredit ialah sebahagian daripada bil bulanan satu perkhidmatan, selalunya dihadkan, dan anda mesti menuntutnya dengan log anda sendiri.
Bagaimanakah membina di atas API tanpa SLA?
Kebanyakan pasukan membina di atas API bayar ikut guna tanpa SLA. Itu berkesan jika aplikasi menjangkakan kegagalan:
- Tetapkan tamat masa. Strimkan jawapan panjang dan tetapkan tamat masa klien bagi setiap permintaan, supaya panggilan yang tergantung gagal dengan cepat. Panduan penstriman.
- Cuba semula dengan backoff dan jitter pada 429 dan 5XX, dan hadkan percubaan semula. Ralat dan percubaan semula.
- Simpan penyedia kedua yang telah dikonfigurasikan. Dengan API serasi OpenAI, sandaran ialah base URL, kunci dan ID model kedua. Cara failover antara API LLM.
- Log ID permintaan, cap masa dan kod status. Anda memerlukannya untuk sebarang tuntutan SLA, dan untuk melihat kadar ralat sebenar anda.
- Beli kontrak di mana anda memerlukannya. Jika masa operasi ialah keperluan mutlak, gunakan peringkat penyedia dengan SLA bertulis, atau penggunaan persendirian dengan tahap perkhidmatan yang dipersetujui. Apa yang perlu dirancang sebelum endpoint persendirian.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri. API layan diri BroadNet, bayar ikut guna dan pelan, tiada SLA. Terma Perkhidmatannya (§7.4) menyatakan: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Terjemahan: Kami berusaha memastikan API tersedia dan menerbitkan apa yang kami ukur, tetapi layan diri tiada komitmen ketersediaan.) Dan: “Service levels exist only in a separate written agreement.” (Terjemahan: Tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan.) Dalam hal ini Azure, AWS dan Google menawarkan lebih banyak: sasaran masa operasi bertulis dengan kredit. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 permintaan serentak. Penerangan BroadNet sendiri tentang persediaan penyajiannya ada dalam perkakasan GPU dan pendekatan penyajian BroadNet, yang kami laporkan sebagai penjelasan BroadNet, bukan sebagai komitmen.
Jika beban kerja anda boleh berjalan dengan percubaan semula dan sandaran, endpoint serasi OpenAI BroadNet ialah satu lagi base URL untuk dikonfigurasikan: https://inference.broadnet.ai/v1. Jika anda memerlukan tahap perkhidmatan berkontrak, tanya BroadNet tentang perjanjian bertulis sebelum anda bergantung padanya. Baca rujukan API atau cipta akaun.
