Wer nach „LLM API SLA“ sucht, findet Tabellen, die sich gegenseitig widersprechen. Dieser Beitrag lässt die Tabellen beiseite und liest die Quelle: die SLA- oder Bedingungsseite jedes Anbieters, abgerufen am 15. November 2026. Für jeden notieren wir das Verfügbarkeitsziel, was als Ausfall zählt, die Service-Gutschrift, ein etwaiges Latenzziel und welche Stufe abgedeckt ist. BroadRouter ist die Website von BroadNet, daher steht BroadNet mit auf der Liste, und es gehört zu den Anbietern ohne SLA bei Self-Serve.
Was verspricht ein LLM-API-SLA eigentlich?
Ein SLA ist ein schriftliches Ziel mit einer Abhilfe. Es hält die API nicht am Laufen. Es sagt, was auf Ihrer Rechnung passiert, wenn sie ausfällt. Jedes SLA unten besteht aus denselben vier Teilen:
- Ein Ziel. Meist ein monatlicher Verfügbarkeitsprozentsatz pro Region, Projekt oder Ressource.
- Eine Definition von Ausfallzeit. Fast immer nur Serverfehler: 500- oder 5XX-Antworten auf gültige Anfragen. Ein 429-Rate-Limit ist kein Ausfall. Eine langsame oder falsche Antwort ebenso wenig.
- Eine Abhilfe. Ein Prozentsatz der Monatsrechnung für den betroffenen Dienst, gutgeschrieben auf künftige Rechnungen und gedeckelt.
- Ein Antragsverfahren. Sie beantragen die Gutschrift mit Ihren eigenen Logs innerhalb einer Frist.
In Minuten übersetzt ergeben die Prozentwerte für einen 30-Tage-Monat mit 43.200 Minuten Folgendes:
| Monatliche Verfügbarkeit | Erlaubte Ausfallzeit |
|---|---|
| 99,9 % | etwa 43 Minuten |
| 99,5 % | 216 Minuten |
| 99,0 % | 432 Minuten |
| 95,0 % | 36 Stunden |
Welche LLM-APIs veröffentlichen ein SLA?
Alle Zeilen stammen von der eigenen Seite des Anbieters, gelesen am 15. November 2026. „Nicht gefunden“ heißt, dass die geprüfte Seite kein SLA nennt; ein privater Vertrag ist damit nicht ausgeschlossen.
| Anbieter und Dienst | Verfügbarkeitsziel | Zählt als Ausfall | Gutschriften | Latenz-SLA | Wer abgedeckt ist |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (inkl. Azure-OpenAI-Modelle) | 99,9 % | Anfragen mit Fehlercode, gemittelt pro Minute | 10 % unter 99,9 %, 25 % unter 99 % | Ja, für Provisioned-Managed-Deployments und Priority Processing | Foundry Models sold by Azure; Developer-Stufe ausgenommen |
| Amazon Bedrock | 99,9 % (Gutschriften beginnen darunter) | Anfragen, die einen 500-Fehlercode liefern, pro 5-Minuten-Intervall, pro Region | 10 %, 25 % unter 99,0 %, 100 % unter 95,0 % | Keines im SLA | Bedrock in jeder AWS-Region |
| Google, Gemini Online Inference API | 99,5 % (95 % für Modelle mit kürzerer Verfügbarkeit) | Über 5 % 5XX-Fehlerquote für 5 oder mehr aufeinanderfolgende Minuten | 10 %, 25 % unter 99,0 %, 50 % unter 95,0 % | Ja, unter Provisioned Throughput am globalen Endpoint | generateContent und streamGenerateContent |
| OpenAI, Scale Tier | 99,9 % | Auf der öffentlichen Seite nicht definiert | Auf der öffentlichen Seite nicht angegeben | 99 % der Zeit über einer Mindestrate in Tokens pro Sekunde je Modell | Enterprise-Kunden, Token-Einheiten für mindestens 30 Tage gekauft |
| OpenAI, normales Pay-as-you-go | Nicht gefunden | – | – | – | – |
| Anthropic API | Nicht gefunden; die Bedingungen sagen „as is“ und „as available“ | – | – | – | – |
| Fireworks AI, Reserved Throughput | Bedingungen für 99,9 % Verfügbarkeit | Auf der Preisseite nicht angegeben | Nicht angegeben | Durchsatz-SLA | Nur reservierte Kapazität; Mehrnutzung nicht abgedeckt |
| Together AI | Serverless: keines angegeben. „Provisioned Throughput: Token-based capacity with SLAs“ (Übersetzung: „tokenbasierte Kapazität mit SLAs“; Bedingungen nicht auf der Seite veröffentlicht) | – | – | – | SLA-Bedingungen beim Vertrieb erfragen |
| BroadNet Inference, Self-Serve | Keines: „no availability commitment“ (keine Verfügbarkeitszusage) | – | – | – | Service-Levels nur in einer separaten schriftlichen Vereinbarung |
Worin unterscheiden sich die SLAs der Hyperscaler?
Microsoft Azure. Laut der Learn-Seite von Microsoft „include all Azure OpenAI models“ (umfassen alle Azure-OpenAI-Modelle) die Foundry Models sold by Azure und sind „covered by Azure service-level agreements“ (durch Azure-SLAs abgedeckt). Das konsolidierte SLA (Ausgabe Oktober 2026) definiert eine Fehlerquote pro Minute und den Verfügbarkeitsprozentsatz als 100 % minus die durchschnittliche Fehlerquote. Die Gutschriften betragen 10 % unter 99,9 % und 25 % unter 99 %. Sie gelten nur für Foundry Models sold by Azure, und „The Developer tier of the Foundry Models service is not covered by this SLA.“ (Übersetzung: „Die Developer-Stufe des Dienstes Foundry Models ist nicht durch dieses SLA abgedeckt.“) Für Provisioned-Managed-Deployments und Priority Processing misst ein zweites SLA die Tokens pro Sekunde gegen ein Ziel je Modell aus der Produktdokumentation, mit 10 % Gutschrift, wenn die Erfüllung unter 99 % fällt.
Amazon Bedrock. AWS verpflichtet sich zu „commercially reasonable efforts“ (wirtschaftlich angemessenen Bemühungen), um die Verfügbarkeitstabelle einzuhalten. Verfügbarkeit ist „the percentage of Requests processed by Amazon Bedrock that do not fail with Errors“ (Übersetzung: „der Prozentsatz der von Amazon Bedrock verarbeiteten Anfragen, die nicht mit Fehlern scheitern“), und ein Fehler ist „any Request that returns a 500 error code“ (Übersetzung: „jede Anfrage, die einen 500-Fehlercode liefert“). Sie wird pro Region berechnet, und Intervalle ohne Anfragen gelten als voll verfügbar. Zu den Ausnahmen gehören Handlungen des Kunden wie „scaling of provisioned throughput“ (Skalierung von Provisioned Throughput) und Modellsoftware, die „repeated model crashes or an inoperable model“ (wiederholte Modellabstürze oder ein funktionsunfähiges Modell) verursacht. Das SLA enthält kein Latenzziel.
Google Cloud. Das SLA für die Gemini-Online-Inferenz ist am strengsten darin, was zählt. Ausfallzeit setzt eine 5XX-Fehlerquote von über 5 % voraus, die „five or more consecutive minutes“ (fünf oder mehr aufeinanderfolgende Minuten) anhält. Die Gutschriften sind auf 50 % der Monatsrechnung für den Dienst gedeckelt, Sie müssen den Support innerhalb von 30 Tagen mit Logdateien benachrichtigen, und das SLA ist Ihr „sole and exclusive remedy“ (einziges und ausschließliches Rechtsmittel). Grounding mit der Google-Suche, Kontingentfehler und Deadlines, die kürzer als der Server-Standard sind, sind ausgenommen. Unter Provisioned Throughput deckt ein Latenz-SLA einige Gemini-2.5-Modelle am globalen Endpoint ab, gemessen als p50 der Tokens pro Sekunde je 5-Minuten-Intervall. Stellen Sie stattdessen Ihr eigenes offenes Modell auf Vertex AI bereit, deckt das separate SLA der Vertex AI Platform die Online-Vorhersage für Custom Models mit 99,5 % ab, aber nur „for models deployed on 2 or more nodes“ (für Modelle, die auf 2 oder mehr Knoten bereitgestellt sind).
Und OpenAI und Anthropic direkt?
OpenAI. Die Seite zur Scale Tier sagt: „Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.“ (Übersetzung: „Traffic über die Scale Tier bietet ein Verfügbarkeits-SLA von 99,9 % und priorisierte Rechenleistung.“) Die Tabelle dort kombiniert das mit einem Latenz-SLA je Modell, etwa „99% > 50 tokens per second“ (99 % > 50 Tokens pro Sekunde), berechnet als p50 der Anfragelatenz pro 5 Minuten. Die Seite sagt „This offering is available to Enterprise customers“ (Übersetzung: „Dieses Angebot steht Enterprise-Kunden zur Verfügung“), dass jede Token-Einheit „for a minimum of 30 days“ (für mindestens 30 Tage) gekauft wird und dass die Scale Tier Modelle abdeckt, die vor GPT-5.6 erschienen sind, mit der Reserved Tier für spätere Modelle. Für die normale Pay-as-you-go-Nutzung haben wir kein Verfügbarkeits-SLA gefunden. (openai.com hat unser Abrufprogramm blockiert, daher haben wir die Seite aus dem Snapshot des Internet Archive vom 7. November 2026 gelesen.)
Anthropic. Die öffentlichen Commercial Terms (gültig ab 17. Juni 2025) enthalten weder SLA noch Service-Gutschriften. Abschnitt L.2 stellt die Dienste „AS IS“ und „AS AVAILABLE“ (wie besehen und nach Verfügbarkeit) bereit und schließt aus, dass die Nutzung „WILL BE UNINTERRUPTED“ (ununterbrochen sein wird). Enterprise-Vereinbarungen können abweichen, sind aber nicht öffentlich.
Was garantiert ein SLA nicht?
- Die Verfügbarkeit selbst. Eine Gutschrift kommt nach dem Ausfall. Ihre Nutzer haben ihn trotzdem erlebt.
- Kapazität. Drosselung (429) liegt außerhalb jeder Verfügbarkeitsdefinition oben. Google schließt „quotas applied by the system“ (vom System angewandte Kontingente) ausdrücklich aus. Siehe wie Sie mit 429-Fehlern umgehen.
- Geschwindigkeit. Nur die bereitgestellten oder reservierten Stufen haben ein Ziel in Tokens pro Sekunde. Bei normalem Traffic ist eine langsame Antwort eine erfolgreiche Antwort. Latenzmetriken erklärt.
- Qualität. Eine 200-Antwort mit falschem Inhalt ist nirgends ein Ausfall.
- Viel Geld. Gutschriften sind ein Anteil an der Monatsrechnung eines Dienstes, oft gedeckelt, und Sie müssen sie mit Ihren eigenen Logs beantragen.
Wie bauen Sie auf einer API ohne SLA auf?
Die meisten Teams bauen auf Pay-as-you-go-APIs ohne SLA. Das funktioniert, wenn die Anwendung mit Ausfällen rechnet:
- Timeouts setzen. Streamen Sie lange Antworten und setzen Sie pro Anfrage ein Client-Timeout, damit ein hängender Aufruf schnell scheitert. Streaming-Leitfaden.
- Retry mit Backoff und Jitter bei 429 und 5XX, mit begrenzter Zahl an Versuchen. Fehler und Retries.
- Einen zweiten Anbieter konfiguriert halten. Bei OpenAI-kompatiblen APIs ist ein Fallback eine zweite Basis-URL, ein zweiter Schlüssel und eine zweite Modell-ID. Failover zwischen LLM-APIs.
- Request-IDs, Zeitstempel und Statuscodes loggen. Sie brauchen sie für jeden SLA-Antrag und um Ihre echte Fehlerquote zu sehen.
- Einen Vertrag abschließen, wo Sie einen brauchen. Ist Verfügbarkeit eine harte Anforderung, nutzen Sie eine Anbieterstufe mit schriftlichem SLA oder ein privates Deployment mit vereinbarten Service-Levels. Was Sie vor einem privaten Endpoint planen sollten.
Wo BroadNet Inference hineinpasst
BroadRouter ist die eigene Website von BroadNet. Die Self-Serve-API von BroadNet, Pay-as-you-go wie Pläne, hat kein SLA. Die Nutzungsbedingungen (§7.4) sagen: „We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.“ (Übersetzung: „Wir bemühen uns, die API verfügbar zu halten, und veröffentlichen, was wir messen, aber Self-Serve hat keine Verfügbarkeitszusage.“) Und: „Service levels exist only in a separate written agreement.“ (Übersetzung: „Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung.“) In diesem Punkt bieten Azure, AWS und Google mehr: ein schriftliches Verfügbarkeitsziel mit Gutschriften. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Die eigene Beschreibung von BroadNet zu seinem Serving-Setup steht in GPU-Hardware und Serving-Ansatz von BroadNet; wir geben sie als Darstellung von BroadNet wieder, nicht als Zusage.
Kann Ihr Workload mit Retries und einem Fallback laufen, ist der OpenAI-kompatible Endpoint von BroadNet eine weitere Basis-URL zum Konfigurieren: https://inference.broadnet.ai/v1. Brauchen Sie vertraglich zugesicherte Service-Levels, fragen Sie BroadNet nach einer schriftlichen Vereinbarung, bevor Sie sich darauf verlassen. Lesen Sie die API-Referenz oder erstellen Sie ein Konto.
