BroadRouter

LLM API SLA: ano ang pangako ng Azure, Bedrock, Google at OpenAI

Ng BroadNet Inference team · 7 minutong basa · Nailathala · Na-update

Karamihan ng LLM API ay walang pangakong uptime sa pay-as-you-go. May nakasulat na SLA kapag may cloud contract o reserved capacity: may credit sa Azure Foundry Models at Amazon Bedrock kapag bumaba sa 99.9% ang monthly uptime, sa Gemini online inference ng Google sa ilalim ng 99.5%, at 99.9% ang alok ng Scale Tier ng OpenAI sa Enterprise buyer. Wala nito ang commercial terms ng Anthropic at self-serve terms ng BroadNet. Bill credit ang remedyo.

Kapag hinanap mo ang “LLM API SLA”, makakakuha ka ng mga table na nagkokontrahan. Nilalaktawan ng post na ito ang mga table at binabasa ang source: ang sariling SLA o terms page ng bawat provider, kinuha noong Nobyembre 15, 2026. Para sa bawat isa, itinatala namin ang uptime target, ano ang itinuturing na downtime, ang service credit, anumang latency target at kung aling tier ang sakop. Ang BroadRouter ay website ng BroadNet, kaya kasama ang BroadNet sa listahan, at isa ito sa mga provider na walang SLA sa self-serve.

Ano ba talaga ang ipinapangako ng isang LLM API SLA?

Ang SLA ay nakasulat na target na may remedyo. Hindi nito pinapanatiling bukas ang API. Sinasabi nito kung ano ang mangyayari sa bill mo kapag hindi. Iisa ang apat na bahagi ng bawat SLA sa ibaba:

  1. Isang target. Kadalasan, monthly uptime percentage kada region, project o resource.
  2. Depinisyon ng downtime. Halos palaging server error lang: 500 o 5XX na response sa mga valid na request. Hindi downtime ang 429 na rate limit. Hindi rin ang mabagal o maling sagot.
  3. Isang remedyo. Isang percentage ng bill ng buwang iyon para sa apektadong serbisyo, ibinabawas sa susunod na bill at may limit.
  4. Proseso ng claim. Ikaw ang hihingi ng credit, gamit ang sarili mong logs, bago ang deadline.

Ganito ang katumbas ng mga percentage sa minuto, para sa 30-araw na buwan na may 43,200 minuto:

Monthly uptime Pinapayagang downtime
99.9% mga 43 minuto
99.5% 216 minuto
99.0% 432 minuto
95.0% 36 na oras

Aling mga LLM API ang may nakalathalang SLA?

Lahat ng row ay binasa mula sa sariling page ng provider noong Nobyembre 15, 2026. Ang ibig sabihin ng “Hindi nakita” ay walang SLA na nakasaad sa page na sinuri namin; hindi nito inaalis ang posibilidad ng pribadong kontrata.

Provider at serbisyo Uptime target Itinuturing na downtime Credit Latency SLA Sino ang sakop
Microsoft Azure, Foundry Models (kasama ang mga Azure OpenAI model) 99.9% Mga request na nagbabalik ng error code, average kada minuto 10% sa ilalim ng 99.9%, 25% sa ilalim ng 99% Oo, para sa Provisioned Managed deployments at Priority Processing Foundry Models sold by Azure; hindi kasama ang Developer tier
Amazon Bedrock 99.9% (nagsisimula ang credit sa ilalim nito) Mga request na nagbabalik ng 500 error code, kada 5-minutong interval, kada region 10%, 25% sa ilalim ng 99.0%, 100% sa ilalim ng 95.0% Wala sa SLA Bedrock sa bawat AWS region
Google, Gemini online inference API 99.5% (95% para sa mga model na mas maikli ang availability) Higit sa 5% na 5XX error rate nang 5 o higit pang sunud-sunod na minuto 10%, 25% sa ilalim ng 99.0%, 50% sa ilalim ng 95.0% Oo, sa ilalim ng Provisioned Throughput sa global endpoint generateContent at streamGenerateContent
OpenAI, Scale Tier 99.9% Hindi depinido sa pampublikong page Hindi nakasaad sa pampublikong page 99% ng oras na lampas sa tokens-per-second na floor kada model Mga Enterprise customer, token unit na binili nang hindi bababa sa 30 araw
OpenAI, standard na pay-as-you-go Hindi nakita – – – –
Anthropic API Hindi nakita; sinasabi ng terms na “as is” at “as available” (salin: kung ano ito at kung kailan available) – – – –
Fireworks AI, Reserved Throughput 99.9% na uptime terms Hindi nakasaad sa pricing page Hindi nakasaad Throughput SLA Reserved capacity lang; hindi sakop ang overage
Together AI Serverless: walang nakasaad. “Provisioned Throughput: Token-based capacity with SLAs” (salin: Provisioned Throughput: capacity na batay sa token, may SLA) (hindi nakalathala sa page ang terms) – – – Itanong sa sales ang SLA terms
BroadNet Inference, self-serve Wala: “no availability commitment” (salin: walang availability commitment) – – – May service level lang sa hiwalay na nakasulat na kasunduan

Paano nagkakaiba ang mga SLA ng hyperscaler?

Microsoft Azure. Sinasabi ng Learn page ng Microsoft na ang Foundry Models sold by Azure ay “include all Azure OpenAI models” (salin: kasama ang lahat ng Azure OpenAI model) at “covered by Azure service-level agreements” (salin: sakop ng mga Azure SLA). Dine-define ng consolidated SLA (edisyong Oktubre 2026) ang Error Rate kada minuto at ang Uptime Percentage bilang 100% bawas ang average na error rate. 10% ang credit sa ilalim ng 99.9% at 25% sa ilalim ng 99%. Para lang sa Foundry Models sold by Azure ang credit, at “The Developer tier of the Foundry Models service is not covered by this SLA.” (salin: Hindi sakop ng SLA na ito ang Developer tier ng Foundry Models service.) Para sa Provisioned Managed deployments at Priority Processing, may pangalawang SLA na sumusukat ng tokens per second laban sa target kada model na nasa product docs, na may 10% credit kapag bumaba sa 99% ang attainment.

Amazon Bedrock. Nangangako ang AWS ng “commercially reasonable efforts” (salin: makatwirang pagsisikap sa komersyal na paraan) para maabot ang uptime table. Ang availability ay “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (salin: ang percentage ng mga Request na naproseso ng Amazon Bedrock na hindi pumalya nang may Error), at ang Error ay “any Request that returns a 500 error code” (salin: anumang Request na nagbabalik ng 500 error code). Kinukuwenta ito kada region, at itinuturing na ganap na available ang mga interval na walang request. Kasama sa mga exclusion ang mga aksyon ng customer gaya ng “scaling of provisioned throughput” (salin: pag-scale ng provisioned throughput) at model software na nagdudulot ng “repeated model crashes or an inoperable model” (salin: paulit-ulit na pag-crash ng model o model na hindi gumagana). Walang latency target ang SLA.

Google Cloud. Ang Gemini online inference SLA ang pinakamahigpit sa kung ano ang binibilang. Para maging downtime, kailangan ng higit sa 5% na error rate ng 5XX na response, na tumatagal nang “five or more consecutive minutes” (salin: lima o higit pang sunud-sunod na minuto). May limit ang credit na 50% ng bill ng buwan para sa serbisyo, kailangan mong abisuhan ang support sa loob ng 30 araw kasama ang log files, at ang SLA ang iyong “sole and exclusive remedy” (salin: nag-iisa at eksklusibong remedyo). Hindi kasama ang grounding with Google Search, mga quota error at mga deadline na mas maikli sa default ng server. Sa ilalim ng Provisioned Throughput, may latency SLA para sa ilang Gemini 2.5 model sa global endpoint, sinusukat bilang p50 tokens per second kada 5-minutong interval. Kung sarili mong open model ang ide-deploy mo sa Vertex AI, ang hiwalay na Vertex AI Platform SLA ang sumasakop sa custom model online prediction sa 99.5%, pero “for models deployed on 2 or more nodes” (salin: para sa mga model na naka-deploy sa 2 o higit pang node) lang.

Paano naman ang OpenAI at Anthropic nang direkta?

OpenAI. Sinasabi ng Scale Tier page: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (salin: May 99.9% uptime SLA at inuunang compute ang Scale Tier traffic.) Ipinapares ito ng table nito sa latency SLA kada model, gaya ng “99% > 50 tokens per second” (salin: 99% na lampas sa 50 token kada segundo), kinuwenta bilang p50 na request latency kada 5 minuto. Sinasabi ng page na “This offering is available to Enterprise customers” (salin: Available ang alok na ito sa mga Enterprise customer), na binibili ang bawat token unit “for a minimum of 30 days” (salin: nang hindi bababa sa 30 araw), at na sakop ng Scale Tier ang mga model na inilabas bago ang GPT-5.6, at Reserved Tier para sa mas bagong mga model. Wala kaming nakitang uptime SLA na kalakip ng standard na pay-as-you-go na paggamit. (Hinarangan ng openai.com ang fetcher namin, kaya binasa namin ang page mula sa capture ng Internet Archive noong Nobyembre 7, 2026.)

Anthropic. Walang SLA o service credit ang pampublikong Commercial Terms (epektibo Hunyo 17, 2025). Ibinibigay ng Section L.2 ang mga serbisyo nang “AS IS” at “AS AVAILABLE” (salin: kung ano ito at kung kailan available) at hindi nito ginagarantiya na ang paggamit ay “WILL BE UNINTERRUPTED” (salin: magiging tuloy-tuloy). Puwedeng iba ang mga enterprise agreement, pero hindi pampubliko ang mga iyon.

Ano ang hindi nabibili ng isang SLA?

  • Mismong uptime. Binabayaran ang credit pagkatapos ng outage. Nakita pa rin ito ng mga user mo.
  • Capacity. Wala sa alinmang uptime definition sa itaas ang throttling (429). Tahasang hindi isinasama ng Google ang “quotas applied by the system” (salin: mga quota na ipinapataw ng system). Tingnan ang paano hawakan ang 429 error.
  • Bilis. Ang mga provisioned o reserved na tier lang ang may tokens-per-second na target. Sa standard na traffic, matagumpay na sagot pa rin ang mabagal na sagot. Ipinaliwanag ang mga latency metric.
  • Kalidad. Hindi downtime saanman ang 200 na response na may maling sagot.
  • Malaking pera. Bahagi lang ng monthly bill ng iisang serbisyo ang credit, kadalasang may limit, at kailangan mo itong i-claim gamit ang sarili mong logs.

Paano bumuo sa isang API na walang SLA?

Karamihan ng team ay bumubuo sa mga pay-as-you-go na API na walang SLA. Gumagana iyon kung inaasahan ng application ang pagpalya:

  1. Magtakda ng timeout. I-stream ang mahahabang sagot at magtakda ng client timeout kada request, para mabilis na bumagsak ang nakabiting call. Gabay sa streaming.
  2. Mag-retry nang may backoff at jitter sa 429 at 5XX, at lagyan ng limit ang retry. Errors at retries.
  3. Magtabi ng naka-configure na pangalawang provider. Sa mga OpenAI-compatible na API, ang fallback ay pangalawang base URL, key at model ID. Paano mag-failover sa pagitan ng mga LLM API.
  4. I-log ang mga request ID, timestamp at status code. Kailangan mo ang mga ito para sa anumang SLA claim, at para makita ang totoong error rate mo.
  5. Bumili ng kontrata kung saan kailangan mo. Kung mahigpit na requirement ang uptime, gumamit ng provider tier na may nakasulat na SLA, o ng private deployment na may napagkasunduang service level. Ano ang dapat planuhin bago ang private endpoint.

Saan pumapasok ang BroadNet Inference

Ang BroadRouter ay sariling website ng BroadNet. Walang SLA ang self-serve na API ng BroadNet, pay-as-you-go man o plan. Sinasabi ng Terms of Service nito (§7.4): “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (salin: Sinisikap naming panatilihing available ang API at inilalathala namin ang sinusukat namin, pero walang availability commitment ang self-serve.) At: “Service levels exist only in a separate written agreement.” (salin: May service level lang sa isang hiwalay na nakasulat na kasunduan.) Sa puntong ito, mas marami ang iniaalok ng Azure, AWS at Google: nakasulat na uptime target na may credit. Pinapayagan ng isang pay-as-you-go na key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay na tumatakbo. Nasa GPU hardware at serving approach ng BroadNet ang sariling paglalarawan ng BroadNet sa serving setup nito, na iniuulat namin bilang salaysay ng BroadNet, hindi bilang commitment.

Kung kaya ng workload mo na tumakbo nang may retry at fallback, isa pang base URL na iko-configure ang OpenAI-compatible na endpoint ng BroadNet: https://inference.broadnet.ai/v1. Kung kailangan mo ng service level na nakakontrata, magtanong sa BroadNet tungkol sa nakasulat na kasunduan bago ka umasa rito. Basahin ang API reference o gumawa ng account.

Mga tanong

Ano ang SLA ng Azure OpenAI?

Ang mga Azure OpenAI model ay Foundry Models sold by Azure, na ayon sa Microsoft ay sakop ng mga Azure SLA. Sa consolidated SLA ng Oktubre 2026, may 10% service credit ang Foundry Models kapag bumaba sa 99.9% ang monthly uptime at 25% kapag bumaba sa 99%. Hindi sakop ang Developer tier. Nagdadagdag ang Provisioned Managed deployments at Priority Processing ng tokens-per-second na latency SLA na may 10% credit kapag bumaba sa 99% ang attainment.

May uptime SLA ba ang OpenAI API?

Naglalathala ang OpenAI ng 99.9% uptime SLA at latency SLA para sa Scale Tier, na inilalarawan nito bilang "available to Enterprise customers" (salin: available sa mga Enterprise customer) at ibinebenta sa token unit nang hindi bababa sa 30 araw. Para sa GPT-5.6 at mas bago, itinuturo nito ang Reserved Tier. Wala kaming nakitang uptime SLA para sa standard na pay-as-you-go na paggamit ng API.

Ano ang SLA ng Amazon Bedrock?

Nagbibigay ang AWS ng credit na 10% ng Bedrock charges sa region kapag bumaba sa 99.9% ang monthly uptime, 25% sa ilalim ng 99.0% at 100% sa ilalim ng 95.0%. Sinusukat ang availability kada region sa 5-minutong interval, at ang error ay request na nagbabalik ng 500 error code.

May SLA ba ang Anthropic para sa Claude API?

Wala sa pampublikong Commercial Terms nito. Ibinibigay ng terms na iyon ang mga serbisyo nang "as is" at "as available" (salin: kung ano ito at kung kailan available) at hindi nito ginagarantiya na tuloy-tuloy ang paggamit. Hindi pampubliko ang mga napagkasunduang enterprise contract, kaya magtanong sa Anthropic, o gamitin ang Claude sa isang cloud na sakop ng SLA nito.

Gaano karaming downtime ang pinapayagan ng 99.9% uptime?

Mga 43 minuto sa isang 30-araw na buwan: 0.1% ng 43,200 minuto. Pinapayagan ng 99.5% ang 216 minuto at ng 99% ang 432 minuto. Kasinghalaga ng percentage ang paraan ng pagsukat ng downtime.

May SLA ba ang BroadNet Inference?

Wala sa self-serve. Sinasabi ng Terms ng BroadNet na "self-serve has no availability commitment" (salin: walang availability commitment ang self-serve) at "Service levels exist only in a separate written agreement" (salin: may service level lang sa isang hiwalay na nakasulat na kasunduan), halimbawa para sa private endpoint.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity