Kapag hinanap mo ang “LLM API SLA”, makakakuha ka ng mga table na nagkokontrahan. Nilalaktawan ng post na ito ang mga table at binabasa ang source: ang sariling SLA o terms page ng bawat provider, kinuha noong Nobyembre 15, 2026. Para sa bawat isa, itinatala namin ang uptime target, ano ang itinuturing na downtime, ang service credit, anumang latency target at kung aling tier ang sakop. Ang BroadRouter ay website ng BroadNet, kaya kasama ang BroadNet sa listahan, at isa ito sa mga provider na walang SLA sa self-serve.
Ano ba talaga ang ipinapangako ng isang LLM API SLA?
Ang SLA ay nakasulat na target na may remedyo. Hindi nito pinapanatiling bukas ang API. Sinasabi nito kung ano ang mangyayari sa bill mo kapag hindi. Iisa ang apat na bahagi ng bawat SLA sa ibaba:
- Isang target. Kadalasan, monthly uptime percentage kada region, project o resource.
- Depinisyon ng downtime. Halos palaging server error lang: 500 o 5XX na response sa mga valid na request. Hindi downtime ang 429 na rate limit. Hindi rin ang mabagal o maling sagot.
- Isang remedyo. Isang percentage ng bill ng buwang iyon para sa apektadong serbisyo, ibinabawas sa susunod na bill at may limit.
- Proseso ng claim. Ikaw ang hihingi ng credit, gamit ang sarili mong logs, bago ang deadline.
Ganito ang katumbas ng mga percentage sa minuto, para sa 30-araw na buwan na may 43,200 minuto:
| Monthly uptime | Pinapayagang downtime |
|---|---|
| 99.9% | mga 43 minuto |
| 99.5% | 216 minuto |
| 99.0% | 432 minuto |
| 95.0% | 36 na oras |
Aling mga LLM API ang may nakalathalang SLA?
Lahat ng row ay binasa mula sa sariling page ng provider noong Nobyembre 15, 2026. Ang ibig sabihin ng “Hindi nakita” ay walang SLA na nakasaad sa page na sinuri namin; hindi nito inaalis ang posibilidad ng pribadong kontrata.
| Provider at serbisyo | Uptime target | Itinuturing na downtime | Credit | Latency SLA | Sino ang sakop |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (kasama ang mga Azure OpenAI model) | 99.9% | Mga request na nagbabalik ng error code, average kada minuto | 10% sa ilalim ng 99.9%, 25% sa ilalim ng 99% | Oo, para sa Provisioned Managed deployments at Priority Processing | Foundry Models sold by Azure; hindi kasama ang Developer tier |
| Amazon Bedrock | 99.9% (nagsisimula ang credit sa ilalim nito) | Mga request na nagbabalik ng 500 error code, kada 5-minutong interval, kada region | 10%, 25% sa ilalim ng 99.0%, 100% sa ilalim ng 95.0% | Wala sa SLA | Bedrock sa bawat AWS region |
| Google, Gemini online inference API | 99.5% (95% para sa mga model na mas maikli ang availability) | Higit sa 5% na 5XX error rate nang 5 o higit pang sunud-sunod na minuto | 10%, 25% sa ilalim ng 99.0%, 50% sa ilalim ng 95.0% | Oo, sa ilalim ng Provisioned Throughput sa global endpoint | generateContent at streamGenerateContent |
| OpenAI, Scale Tier | 99.9% | Hindi depinido sa pampublikong page | Hindi nakasaad sa pampublikong page | 99% ng oras na lampas sa tokens-per-second na floor kada model | Mga Enterprise customer, token unit na binili nang hindi bababa sa 30 araw |
| OpenAI, standard na pay-as-you-go | Hindi nakita | – | – | – | – |
| Anthropic API | Hindi nakita; sinasabi ng terms na “as is” at “as available” (salin: kung ano ito at kung kailan available) | – | – | – | – |
| Fireworks AI, Reserved Throughput | 99.9% na uptime terms | Hindi nakasaad sa pricing page | Hindi nakasaad | Throughput SLA | Reserved capacity lang; hindi sakop ang overage |
| Together AI | Serverless: walang nakasaad. “Provisioned Throughput: Token-based capacity with SLAs” (salin: Provisioned Throughput: capacity na batay sa token, may SLA) (hindi nakalathala sa page ang terms) | – | – | – | Itanong sa sales ang SLA terms |
| BroadNet Inference, self-serve | Wala: “no availability commitment” (salin: walang availability commitment) | – | – | – | May service level lang sa hiwalay na nakasulat na kasunduan |
Paano nagkakaiba ang mga SLA ng hyperscaler?
Microsoft Azure. Sinasabi ng Learn page ng Microsoft na ang Foundry Models sold by Azure ay “include all Azure OpenAI models” (salin: kasama ang lahat ng Azure OpenAI model) at “covered by Azure service-level agreements” (salin: sakop ng mga Azure SLA). Dine-define ng consolidated SLA (edisyong Oktubre 2026) ang Error Rate kada minuto at ang Uptime Percentage bilang 100% bawas ang average na error rate. 10% ang credit sa ilalim ng 99.9% at 25% sa ilalim ng 99%. Para lang sa Foundry Models sold by Azure ang credit, at “The Developer tier of the Foundry Models service is not covered by this SLA.” (salin: Hindi sakop ng SLA na ito ang Developer tier ng Foundry Models service.) Para sa Provisioned Managed deployments at Priority Processing, may pangalawang SLA na sumusukat ng tokens per second laban sa target kada model na nasa product docs, na may 10% credit kapag bumaba sa 99% ang attainment.
Amazon Bedrock. Nangangako ang AWS ng “commercially reasonable efforts” (salin: makatwirang pagsisikap sa komersyal na paraan) para maabot ang uptime table. Ang availability ay “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (salin: ang percentage ng mga Request na naproseso ng Amazon Bedrock na hindi pumalya nang may Error), at ang Error ay “any Request that returns a 500 error code” (salin: anumang Request na nagbabalik ng 500 error code). Kinukuwenta ito kada region, at itinuturing na ganap na available ang mga interval na walang request. Kasama sa mga exclusion ang mga aksyon ng customer gaya ng “scaling of provisioned throughput” (salin: pag-scale ng provisioned throughput) at model software na nagdudulot ng “repeated model crashes or an inoperable model” (salin: paulit-ulit na pag-crash ng model o model na hindi gumagana). Walang latency target ang SLA.
Google Cloud. Ang Gemini online inference SLA ang pinakamahigpit sa kung ano ang binibilang. Para maging downtime, kailangan ng higit sa 5% na error rate ng 5XX na response, na tumatagal nang “five or more consecutive minutes” (salin: lima o higit pang sunud-sunod na minuto). May limit ang credit na 50% ng bill ng buwan para sa serbisyo, kailangan mong abisuhan ang support sa loob ng 30 araw kasama ang log files, at ang SLA ang iyong “sole and exclusive remedy” (salin: nag-iisa at eksklusibong remedyo). Hindi kasama ang grounding with Google Search, mga quota error at mga deadline na mas maikli sa default ng server. Sa ilalim ng Provisioned Throughput, may latency SLA para sa ilang Gemini 2.5 model sa global endpoint, sinusukat bilang p50 tokens per second kada 5-minutong interval. Kung sarili mong open model ang ide-deploy mo sa Vertex AI, ang hiwalay na Vertex AI Platform SLA ang sumasakop sa custom model online prediction sa 99.5%, pero “for models deployed on 2 or more nodes” (salin: para sa mga model na naka-deploy sa 2 o higit pang node) lang.
Paano naman ang OpenAI at Anthropic nang direkta?
OpenAI. Sinasabi ng Scale Tier page: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (salin: May 99.9% uptime SLA at inuunang compute ang Scale Tier traffic.) Ipinapares ito ng table nito sa latency SLA kada model, gaya ng “99% > 50 tokens per second” (salin: 99% na lampas sa 50 token kada segundo), kinuwenta bilang p50 na request latency kada 5 minuto. Sinasabi ng page na “This offering is available to Enterprise customers” (salin: Available ang alok na ito sa mga Enterprise customer), na binibili ang bawat token unit “for a minimum of 30 days” (salin: nang hindi bababa sa 30 araw), at na sakop ng Scale Tier ang mga model na inilabas bago ang GPT-5.6, at Reserved Tier para sa mas bagong mga model. Wala kaming nakitang uptime SLA na kalakip ng standard na pay-as-you-go na paggamit. (Hinarangan ng openai.com ang fetcher namin, kaya binasa namin ang page mula sa capture ng Internet Archive noong Nobyembre 7, 2026.)
Anthropic. Walang SLA o service credit ang pampublikong Commercial Terms (epektibo Hunyo 17, 2025). Ibinibigay ng Section L.2 ang mga serbisyo nang “AS IS” at “AS AVAILABLE” (salin: kung ano ito at kung kailan available) at hindi nito ginagarantiya na ang paggamit ay “WILL BE UNINTERRUPTED” (salin: magiging tuloy-tuloy). Puwedeng iba ang mga enterprise agreement, pero hindi pampubliko ang mga iyon.
Ano ang hindi nabibili ng isang SLA?
- Mismong uptime. Binabayaran ang credit pagkatapos ng outage. Nakita pa rin ito ng mga user mo.
- Capacity. Wala sa alinmang uptime definition sa itaas ang throttling (429). Tahasang hindi isinasama ng Google ang “quotas applied by the system” (salin: mga quota na ipinapataw ng system). Tingnan ang paano hawakan ang 429 error.
- Bilis. Ang mga provisioned o reserved na tier lang ang may tokens-per-second na target. Sa standard na traffic, matagumpay na sagot pa rin ang mabagal na sagot. Ipinaliwanag ang mga latency metric.
- Kalidad. Hindi downtime saanman ang 200 na response na may maling sagot.
- Malaking pera. Bahagi lang ng monthly bill ng iisang serbisyo ang credit, kadalasang may limit, at kailangan mo itong i-claim gamit ang sarili mong logs.
Paano bumuo sa isang API na walang SLA?
Karamihan ng team ay bumubuo sa mga pay-as-you-go na API na walang SLA. Gumagana iyon kung inaasahan ng application ang pagpalya:
- Magtakda ng timeout. I-stream ang mahahabang sagot at magtakda ng client timeout kada request, para mabilis na bumagsak ang nakabiting call. Gabay sa streaming.
- Mag-retry nang may backoff at jitter sa 429 at 5XX, at lagyan ng limit ang retry. Errors at retries.
- Magtabi ng naka-configure na pangalawang provider. Sa mga OpenAI-compatible na API, ang fallback ay pangalawang base URL, key at model ID. Paano mag-failover sa pagitan ng mga LLM API.
- I-log ang mga request ID, timestamp at status code. Kailangan mo ang mga ito para sa anumang SLA claim, at para makita ang totoong error rate mo.
- Bumili ng kontrata kung saan kailangan mo. Kung mahigpit na requirement ang uptime, gumamit ng provider tier na may nakasulat na SLA, o ng private deployment na may napagkasunduang service level. Ano ang dapat planuhin bago ang private endpoint.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay sariling website ng BroadNet. Walang SLA ang self-serve na API ng BroadNet, pay-as-you-go man o plan. Sinasabi ng Terms of Service nito (§7.4): “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (salin: Sinisikap naming panatilihing available ang API at inilalathala namin ang sinusukat namin, pero walang availability commitment ang self-serve.) At: “Service levels exist only in a separate written agreement.” (salin: May service level lang sa isang hiwalay na nakasulat na kasunduan.) Sa puntong ito, mas marami ang iniaalok ng Azure, AWS at Google: nakasulat na uptime target na may credit. Pinapayagan ng isang pay-as-you-go na key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay na tumatakbo. Nasa GPU hardware at serving approach ng BroadNet ang sariling paglalarawan ng BroadNet sa serving setup nito, na iniuulat namin bilang salaysay ng BroadNet, hindi bilang commitment.
Kung kaya ng workload mo na tumakbo nang may retry at fallback, isa pang base URL na iko-configure ang OpenAI-compatible na endpoint ng BroadNet: https://inference.broadnet.ai/v1. Kung kailangan mo ng service level na nakakontrata, magtanong sa BroadNet tungkol sa nakasulat na kasunduan bago ka umasa rito. Basahin ang API reference o gumawa ng account.
