BroadRouter

Perbandingan SLA API LLM: janji Azure, Bedrock, Google dan OpenAI

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Kebanyakan API LLM tidak menjanjikan masa operasi pada bayar ikut guna. SLA bertulis datang dengan kontrak awan atau kapasiti terpelihara: Azure Foundry Models dan Amazon Bedrock memberi kredit di bawah 99.9% masa operasi bulanan, inferens dalam talian Gemini Google di bawah 99.5%, dan Scale Tier OpenAI menawarkan 99.9% kepada pembeli Enterprise. Terma komersial Anthropic dan terma layan diri BroadNet tiada SLA. Remedinya ialah kredit bil.

Cari “SLA API LLM” dan anda akan mendapat jadual yang saling bercanggah. Artikel ini melangkau jadual itu dan membaca sumbernya: halaman SLA atau terma setiap penyedia sendiri, disemak pada 15 November 2026. Bagi setiap satu, kami mencatat sasaran masa operasi, apa yang dikira sebagai gangguan, kredit perkhidmatan, sebarang sasaran kependaman dan peringkat yang dilindungi. BroadRouter ialah laman web BroadNet, jadi BroadNet ada dalam senarai, dan ia salah satu penyedia tanpa SLA pada layan diri.

Apakah sebenarnya yang dijanjikan oleh SLA API LLM?

SLA ialah sasaran bertulis dengan remedi. Ia tidak membuatkan API terus berfungsi. Ia menyatakan apa yang berlaku pada bil anda apabila API tidak berfungsi. Setiap SLA di bawah mempunyai empat bahagian yang sama:

  1. Sasaran. Biasanya peratusan masa operasi bulanan bagi setiap rantau, projek atau sumber.
  2. Takrif gangguan. Hampir selalu ralat pelayan sahaja: respons 500 atau 5XX kepada permintaan yang sah. Had kadar 429 bukan gangguan. Begitu juga jawapan yang perlahan atau salah.
  3. Remedi. Peratusan bil bulan itu bagi perkhidmatan yang terjejas, dikreditkan kepada bil akan datang dan dihadkan.
  4. Proses tuntutan. Anda memohon kredit, dengan log anda sendiri, dalam tempoh tertentu.

Peratusan itu diterjemahkan kepada minit seperti berikut, bagi bulan 30 hari dengan 43,200 minit:

Masa operasi bulanan Gangguan yang dibenarkan
99.9% kira-kira 43 minit
99.5% 216 minit
99.0% 432 minit
95.0% 36 jam

API LLM manakah yang menerbitkan SLA?

Semua baris dibaca daripada halaman penyedia sendiri pada 15 November 2026. “Tidak ditemui” bermaksud halaman yang kami semak tidak menyatakan SLA; ia tidak menolak kemungkinan kontrak persendirian.

Penyedia dan perkhidmatan Sasaran masa operasi Dikira sebagai gangguan Kredit SLA kependaman Siapa yang dilindungi
Microsoft Azure, Foundry Models (termasuk model Azure OpenAI) 99.9% Permintaan yang memulangkan kod ralat, dipuratakan setiap minit 10% di bawah 99.9%, 25% di bawah 99% Ya, untuk Provisioned Managed deployments dan Priority Processing Foundry Models sold by Azure; peringkat Developer dikecualikan
Amazon Bedrock 99.9% (kredit bermula di bawahnya) Permintaan yang memulangkan kod ralat 500, setiap selang 5 minit, setiap rantau 10%, 25% di bawah 99.0%, 100% di bawah 95.0% Tiada dalam SLA Bedrock di setiap rantau AWS
Google, API inferens dalam talian Gemini 99.5% (95% untuk model dengan ketersediaan lebih singkat) Kadar ralat 5XX melebihi 5% selama 5 minit berturut-turut atau lebih 10%, 25% di bawah 99.0%, 50% di bawah 95.0% Ya, di bawah Provisioned Throughput pada endpoint global generateContent dan streamGenerateContent
OpenAI, Scale Tier 99.9% Tidak ditakrifkan pada halaman awam Tidak dinyatakan pada halaman awam 99% masa melebihi lantai token sesaat bagi setiap model Pelanggan Enterprise, unit token dibeli untuk sekurang-kurangnya 30 hari
OpenAI, bayar ikut guna standard Tidak ditemui – – – –
API Anthropic Tidak ditemui; terma menyatakan “as is” dan “as available” (Terjemahan: seadanya dan setakat tersedia) – – – –
Fireworks AI, Reserved Throughput Terma masa operasi 99.9% Tidak dinyatakan pada halaman harga Tidak dinyatakan SLA daya pemprosesan Kapasiti terpelihara sahaja; lebihan tidak dilindungi
Together AI Serverless: tiada dinyatakan. “Provisioned Throughput: Token-based capacity with SLAs” (Terjemahan: Provisioned Throughput: kapasiti berasaskan token dengan SLA) (terma tidak diterbitkan pada halaman) – – – Tanya pasukan jualan untuk terma SLA
BroadNet Inference, layan diri Tiada: “no availability commitment” (Terjemahan: tiada komitmen ketersediaan) – – – Tahap perkhidmatan hanya dalam perjanjian bertulis yang berasingan

Bagaimanakah SLA hyperscaler berbeza?

Microsoft Azure. Halaman Learn Microsoft menyatakan Foundry Models sold by Azure “include all Azure OpenAI models” (Terjemahan: termasuk semua model Azure OpenAI) dan “covered by Azure service-level agreements” (Terjemahan: dilindungi oleh SLA Azure). SLA disatukan (edisi Oktober 2026) mentakrifkan Error Rate setiap minit dan Uptime Percentage sebagai 100% tolak purata kadar ralat. Kredit ialah 10% di bawah 99.9% dan 25% di bawah 99%. Kredit hanya terpakai pada Foundry Models sold by Azure, dan “The Developer tier of the Foundry Models service is not covered by this SLA.” (Terjemahan: Peringkat Developer bagi perkhidmatan Foundry Models tidak dilindungi oleh SLA ini.) Untuk Provisioned Managed deployments dan Priority Processing, SLA kedua mengukur token sesaat berbanding sasaran setiap model dalam dokumentasi produk, dengan kredit 10% jika pencapaian jatuh di bawah 99%.

Amazon Bedrock. AWS komited kepada “commercially reasonable efforts” (Terjemahan: usaha yang munasabah dari segi komersial) untuk memenuhi jadual masa operasi. Ketersediaan ialah “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (Terjemahan: peratusan Permintaan yang diproses oleh Amazon Bedrock yang tidak gagal dengan Ralat), dan Ralat ialah “any Request that returns a 500 error code” (Terjemahan: sebarang Permintaan yang memulangkan kod ralat 500). Ia dikira bagi setiap rantau, dan selang tanpa permintaan dikira sebagai tersedia sepenuhnya. Pengecualian termasuk tindakan pelanggan seperti “scaling of provisioned throughput” (Terjemahan: penskalaan provisioned throughput) dan perisian model yang menyebabkan “repeated model crashes or an inoperable model” (Terjemahan: model ranap berulang kali atau model yang tidak dapat beroperasi). SLA itu tiada sasaran kependaman.

Google Cloud. SLA inferens dalam talian Gemini adalah yang paling ketat tentang apa yang dikira. Gangguan memerlukan kadar ralat respons 5XX melebihi 5%, berterusan selama “five or more consecutive minutes” (Terjemahan: lima minit berturut-turut atau lebih). Kredit dihadkan pada 50% daripada bil bulan itu bagi perkhidmatan tersebut, anda mesti memaklumkan sokongan dalam masa 30 hari dengan fail log, dan SLA itu ialah “sole and exclusive remedy” (Terjemahan: remedi tunggal dan eksklusif) anda. Grounding with Google Search, ralat kuota dan tarikh akhir yang lebih pendek daripada lalai pelayan dikecualikan. Di bawah Provisioned Throughput, SLA kependaman meliputi sesetengah model Gemini 2.5 pada endpoint global, diukur sebagai token sesaat p50 bagi setiap selang 5 minit. Jika anda sebaliknya menggunakan model terbuka anda sendiri di Vertex AI, SLA Vertex AI Platform yang berasingan meliputi ramalan dalam talian model tersuai pada 99.5%, tetapi hanya “for models deployed on 2 or more nodes” (Terjemahan: untuk model yang digunakan pada 2 nod atau lebih).

Bagaimana pula dengan OpenAI dan Anthropic secara langsung?

OpenAI. Halaman Scale Tier menyatakan: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (Terjemahan: Trafik Scale Tier menawarkan SLA masa operasi 99.9% dan pengkomputeran yang diutamakan.) Jadualnya memadankan itu dengan SLA kependaman bagi setiap model, seperti “99% > 50 tokens per second” (Terjemahan: 99% melebihi 50 token sesaat), dikira sebagai kependaman permintaan p50 setiap 5 minit. Halaman itu menyatakan “This offering is available to Enterprise customers” (Terjemahan: Tawaran ini tersedia untuk pelanggan Enterprise), bahawa setiap unit token dibeli “for a minimum of 30 days” (Terjemahan: untuk minimum 30 hari), dan bahawa Scale Tier meliputi model yang dikeluarkan sebelum GPT-5.6, dengan Reserved Tier untuk model kemudian. Kami tidak menemui SLA masa operasi yang dilampirkan pada penggunaan bayar ikut guna standard. (openai.com menyekat pengambil kami, jadi kami membaca halaman itu daripada tangkapan Internet Archive pada 7 November 2026.)

Anthropic. Commercial Terms awam (berkuat kuasa 17 Jun 2025) tidak mengandungi SLA atau kredit perkhidmatan. Seksyen L.2 menyediakan perkhidmatan “AS IS” dan “AS AVAILABLE” (Terjemahan: seadanya dan setakat tersedia) dan menafikan bahawa penggunaan “WILL BE UNINTERRUPTED” (Terjemahan: tidak akan terganggu). Perjanjian perusahaan mungkin berbeza, tetapi ia tidak didedahkan kepada umum.

Apakah yang tidak dibeli oleh SLA?

  • Masa operasi itu sendiri. Kredit dibayar selepas gangguan. Pengguna anda tetap melihatnya.
  • Kapasiti. Pendikitan (429) berada di luar setiap takrif masa operasi di atas. Google secara jelas mengecualikan “quotas applied by the system” (Terjemahan: kuota yang dikenakan oleh sistem). Lihat cara mengendalikan ralat 429.
  • Kelajuan. Hanya peringkat provisioned atau reserved yang mempunyai sasaran token sesaat. Pada trafik standard, jawapan yang perlahan tetap jawapan yang berjaya. Metrik kependaman dijelaskan.
  • Kualiti. Respons 200 dengan jawapan yang salah bukan gangguan di mana-mana.
  • Wang yang banyak. Kredit ialah sebahagian daripada bil bulanan satu perkhidmatan, selalunya dihadkan, dan anda mesti menuntutnya dengan log anda sendiri.

Bagaimanakah membina di atas API tanpa SLA?

Kebanyakan pasukan membina di atas API bayar ikut guna tanpa SLA. Itu berkesan jika aplikasi menjangkakan kegagalan:

  1. Tetapkan tamat masa. Strimkan jawapan panjang dan tetapkan tamat masa klien bagi setiap permintaan, supaya panggilan yang tergantung gagal dengan cepat. Panduan penstriman.
  2. Cuba semula dengan backoff dan jitter pada 429 dan 5XX, dan hadkan percubaan semula. Ralat dan percubaan semula.
  3. Simpan penyedia kedua yang telah dikonfigurasikan. Dengan API serasi OpenAI, sandaran ialah base URL, kunci dan ID model kedua. Cara failover antara API LLM.
  4. Log ID permintaan, cap masa dan kod status. Anda memerlukannya untuk sebarang tuntutan SLA, dan untuk melihat kadar ralat sebenar anda.
  5. Beli kontrak di mana anda memerlukannya. Jika masa operasi ialah keperluan mutlak, gunakan peringkat penyedia dengan SLA bertulis, atau penggunaan persendirian dengan tahap perkhidmatan yang dipersetujui. Apa yang perlu dirancang sebelum endpoint persendirian.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri. API layan diri BroadNet, bayar ikut guna dan pelan, tiada SLA. Terma Perkhidmatannya (§7.4) menyatakan: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Terjemahan: Kami berusaha memastikan API tersedia dan menerbitkan apa yang kami ukur, tetapi layan diri tiada komitmen ketersediaan.) Dan: “Service levels exist only in a separate written agreement.” (Terjemahan: Tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan.) Dalam hal ini Azure, AWS dan Google menawarkan lebih banyak: sasaran masa operasi bertulis dengan kredit. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 permintaan serentak. Penerangan BroadNet sendiri tentang persediaan penyajiannya ada dalam perkakasan GPU dan pendekatan penyajian BroadNet, yang kami laporkan sebagai penjelasan BroadNet, bukan sebagai komitmen.

Jika beban kerja anda boleh berjalan dengan percubaan semula dan sandaran, endpoint serasi OpenAI BroadNet ialah satu lagi base URL untuk dikonfigurasikan: https://inference.broadnet.ai/v1. Jika anda memerlukan tahap perkhidmatan berkontrak, tanya BroadNet tentang perjanjian bertulis sebelum anda bergantung padanya. Baca rujukan API atau cipta akaun.

Soalan lazim

Apakah SLA Azure OpenAI?

Model Azure OpenAI ialah Foundry Models sold by Azure, yang menurut Microsoft dilindungi oleh SLA Azure. SLA disatukan Oktober 2026 memberi Foundry Models kredit perkhidmatan 10% di bawah 99.9% masa operasi bulanan dan 25% di bawah 99%. Peringkat Developer tidak dilindungi. Provisioned Managed deployments dan Priority Processing menambah SLA kependaman token sesaat dengan kredit 10% di bawah 99% pencapaian.

Adakah API OpenAI mempunyai SLA masa operasi?

OpenAI menerbitkan SLA masa operasi 99.9% dan SLA kependaman untuk Scale Tier, yang digambarkannya sebagai "available to Enterprise customers" (Terjemahan: tersedia untuk pelanggan Enterprise) dan dijual dalam unit token untuk sekurang-kurangnya 30 hari. Untuk GPT-5.6 dan kemudian, ia merujuk kepada Reserved Tier. Kami tidak menemui SLA masa operasi untuk penggunaan API bayar ikut guna standard.

Apakah SLA Amazon Bedrock?

AWS memberi kredit 10% daripada caj Bedrock rantau itu apabila masa operasi bulanan jatuh di bawah 99.9%, 25% di bawah 99.0% dan 100% di bawah 95.0%. Ketersediaan diukur bagi setiap rantau dalam selang 5 minit, dan ralat ialah permintaan yang memulangkan kod ralat 500.

Adakah Anthropic menawarkan SLA untuk API Claude?

Tidak dalam Commercial Terms awamnya. Terma itu menyediakan perkhidmatan "as is" dan "as available" (Terjemahan: seadanya dan setakat tersedia) dan menafikan bahawa penggunaan tidak akan terganggu. Kontrak perusahaan yang dirundingkan tidak didedahkan, jadi tanya Anthropic, atau gunakan Claude melalui awan yang SLA-nya meliputinya.

Berapa banyak gangguan yang dibenarkan oleh masa operasi 99.9%?

Kira-kira 43 minit dalam bulan 30 hari: 0.1% daripada 43,200 minit. 99.5% membenarkan 216 minit dan 99% membenarkan 432 minit. Cara gangguan diukur sama penting dengan peratusannya.

Adakah BroadNet Inference mempunyai SLA?

Tidak pada layan diri. Terma BroadNet menyatakan "self-serve has no availability commitment" (Terjemahan: layan diri tiada komitmen ketersediaan) dan "Service levels exist only in a separate written agreement" (Terjemahan: Tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan), contohnya untuk endpoint persendirian.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity