“Yüksek erişilebilirlik” bir temennidir. SLA ise sözleşmedeki bir sayıdır ve o sayı tutmadığında ne olacağı tanımlıdır.
Nasıl çalışır
Bir SLA dört şeyi tanımlar: neyin kapsandığını, kesintinin nasıl ölçüldüğünü, hedef tutmadığında ne alacağınızı ve nasıl talep edeceğinizi. Google’ın Gemini Enterprise Agent Platform üzerindeki Gemini çevrimiçi çıkarım API’si için SLA’sı açık ve gerçek bir örnektir:
- Hedef.
generateContentvestreamGenerateContentyöntemleri için %99,5 Aylık Erişilebilirlik Yüzdesi (daha kısa erişilebilirlik için belirlenmiş modellerde %95). - Kesinti. “more than a five percent Error Rate” (çeviri: yüzde beşten fazla Hata Oranı); hatalar, geçerli isteklere verilen HTTP 5XX yanıtlarıdır ve yalnızca “five or more consecutive minutes” (çeviri: beş veya daha fazla ardışık dakika) süren dönemlerde sayılır.
- Krediler.
| Aylık erişilebilirlik | Hizmetin aylık faturasına kredi |
|---|---|
| %99,0 ile %99,5’in altı | %10 |
| %95,0 ile %99,0’ın altı | %25 |
| %95,0’ın altı | %50 |
- Talep. Müşteri “must notify Google technical support within 30 days” (çeviri: 30 gün içinde Google teknik desteğine bildirmelidir) ve kesinti dönemlerini gösteren log dosyalarını sunmalıdır. Krediler, ayın hizmet faturasının %50’siyle sınırlıdır.
- Hariç tutulanlar. GA öncesi özellikler, Grounding with Google Search, müşterinin kendi yazılımından kaynaklanan hatalar, sunucu varsayılanından kısa süre sınırları ve kota hataları kapsanmaz.
Aynı SLA, Provisioned Throughput altındaki bazı modeller için saniyedeki çıktı token’ıyla ölçülen bir gecikme hedefi de ekler. Azure, Amazon Bedrock, OpenAI, Anthropic ve diğerlerini yan yana görmek için bkz. LLM API SLA’ları karşılaştırması.
Neden önemli
- Erişilebilirlik, işlem hacmi değildir. Yalnızca 5XX hatalarını sayan bir SLA, bir gecikme hedefi yoksa hız sınırları (429) veya yavaş yanıtlar hakkında bir şey söylemez.
- Krediler küçüktür. %10’luk bir kredi, bir kesintinin ürününüze maliyetini nadiren karşılar. Yine de hataya göre tasarlayın: backoff ile yeniden denemeler, zaman aşımları ve bir yedek model veya sağlayıcı. Bkz. hatalar ve yeniden denemeler rehberi.
- Hariç tutulanları okuyun. Google’ın SLA’sı GA öncesi özellikleri ve adı geçen hizmetleri hariç tutar; her SLA’da benzer istisnalara bakın.
- Kendi loglarınızı tutun. Talepler kanıt ister. İstek kimliklerini, zaman damgalarını ve durum kodlarını loglayın.
BroadNet Inference’ta
BroadNet’in self-serve API’sinin, hem kullandıkça öde hem planlar için, SLA’sı yoktur. Hizmet Şartları (§7.4) şöyle der: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (BroadRouter çevirisi: API’yi erişilebilir tutmayı ve ölçtüklerimizi yayımlamayı amaçlıyoruz, ancak self-serve için bir erişilebilirlik taahhüdü yoktur.) Ayrıca “Service levels exist only in a separate written agreement” (BroadRouter çevirisi: hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır) ifadesini ve özel uç noktalarla ayrılmış kapasitenin bu sözleşmeye tabi olduğunu ekler. Sözleşmeli erişilebilirlik gerekiyorsa BroadNet’e özel bir uç nokta sorun; özel uç nokta planlama yazımız neleri planlamanız gerektiğini anlatır. Self-serve için bir fallback planlayın: sağlayıcı kontrol listesi, BroadNet’in belgelerinde SLA, durum sayfası veya kullanımdan kaldırma politikası bulamadığımızı not eder.