„Hochverfügbar“ ist eine Hoffnung. Ein SLA ist eine Zahl in einem Vertrag, mit einer festgelegten Abhilfe, wenn die Zahl verfehlt wird.
So funktioniert es
Ein SLA legt vier Dinge fest: was abgedeckt ist, wie Ausfallzeit gemessen wird, was Sie bei Verfehlen des Ziels bekommen und wie Sie es einfordern. Das SLA von Google für die Gemini Online Inference API auf der Gemini Enterprise Agent Platform ist ein anschauliches reales Beispiel:
- Ziel. 99,5 % Monthly Uptime Percentage für die Methoden
generateContentundstreamGenerateContent(95 % für Modelle, die für kürzere Verfügbarkeit vorgesehen sind). - Ausfallzeit. „more than a five percent Error Rate“ (Übersetzung: „eine Fehlerrate von mehr als fünf Prozent“), wobei Fehler HTTP-5XX-Antworten auf gültige Anfragen sind, gezählt nur in Zeiträumen von „five or more consecutive minutes“ (Übersetzung: „fünf oder mehr aufeinanderfolgenden Minuten“).
- Gutschriften.
| Monatliche Verfügbarkeit | Gutschrift auf die Monatsrechnung des Dienstes |
|---|---|
| 99,0 % bis unter 99,5 % | 10 % |
| 95,0 % bis unter 99,0 % | 25 % |
| Unter 95,0 % | 50 % |
- Geltendmachung. Der Kunde „must notify Google technical support within 30 days“ (Übersetzung: „muss den technischen Support von Google innerhalb von 30 Tagen benachrichtigen“) und Logdateien vorlegen, die die Ausfallzeiträume belegen. Gutschriften sind auf 50 % der Monatsrechnung für den Dienst begrenzt.
- Ausschlüsse. Nicht abgedeckt sind Pre-GA-Funktionen, Grounding mit der Google-Suche, Fehler aus der eigenen Software des Kunden, Deadlines unterhalb des Server-Standards und Kontingentfehler.
Dasselbe SLA ergänzt für einige Modelle unter Provisioned Throughput ein Latenzziel, gemessen in Output-Tokens pro Sekunde. Azure, Amazon Bedrock, OpenAI, Anthropic und andere im direkten Vergleich finden Sie unter SLAs von LLM-APIs im Vergleich.
Warum es wichtig ist
- Verfügbarkeit ist nicht Durchsatz. Ein SLA, das nur 5XX-Fehler zählt, sagt nichts über Rate Limits (429) oder langsame Antworten, es sei denn, es hat ein Latenz-Ziel.
- Gutschriften sind klein. Eine Gutschrift von 10 % deckt selten, was ein Ausfall Ihr Produkt kostet. Planen Sie Ausfälle trotzdem ein: Retries mit Backoff, Timeouts und ein Fallback-Modell oder ein zweiter Anbieter. Siehe die Anleitung zu Fehlern und Retries.
- Lesen Sie die Ausschlüsse. Das SLA von Google schließt Pre-GA-Funktionen und benannte Dienste aus; suchen Sie in jedem SLA nach ähnlichen Ausnahmen.
- Führen Sie eigene Logs. Ansprüche brauchen Belege. Loggen Sie Request-IDs, Zeitstempel und Statuscodes.
Bei BroadNet Inference
Die Self-Serve-API von BroadNet, sowohl Pay-as-you-go als auch die Pläne, hat kein SLA. Die Nutzungsbedingungen (§7.4) sagen: „We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.“ (Übersetzung: „Wir bemühen uns, die API verfügbar zu halten, und veröffentlichen, was wir messen, aber für Self-Serve gibt es keine Verfügbarkeitszusage.“) Weiter heißt es, dass „Service levels exist only in a separate written agreement“ (Übersetzung: „Service Levels nur in einer gesonderten schriftlichen Vereinbarung bestehen“) und dass private Endpoints und reservierte Kapazität dieser Vereinbarung folgen. Wenn Sie vertraglich zugesicherte Verfügbarkeit brauchen, fragen Sie BroadNet nach einem privaten Endpoint; unser Beitrag zur Planung privater Endpoints zeigt, was zu planen ist. Planen Sie für Self-Serve einen Fallback ein: Die Checkliste zur Anbieterwahl hält fest, dass wir in der Dokumentation von BroadNet kein SLA, keine Statusseite und keine Deprecation-Richtlinie gefunden haben.