BroadRouter
Başlayın

SLA (hizmet seviyesi sözleşmesi)

Güncellendi

SLA (hizmet seviyesi sözleşmesi), bir sağlayıcının ölçülebilir bir hizmet seviyesine, genellikle aylık erişilebilirlik yüzdesine verdiği sözleşmesel taahhüttür; hedef tutmazsa tanımlı bir telafi, çoğunlukla hizmet kredisi uygulanır. SLA, neyin kesinti sayıldığını, nelerin hariç tutulduğunu ve talebin nasıl yapılacağını tanımlar.

Diğer adları: hizmet seviyesi sözleşmesi, hizmet düzeyi anlaşması, erişilebilirlik garantisi, uptime garantisi, hizmet kredisi, SLA, service level agreement, uptime SLA, uptime guarantee, service credits

“Yüksek erişilebilirlik” bir temennidir. SLA ise sözleşmedeki bir sayıdır ve o sayı tutmadığında ne olacağı tanımlıdır.

Nasıl çalışır

Bir SLA dört şeyi tanımlar: neyin kapsandığını, kesintinin nasıl ölçüldüğünü, hedef tutmadığında ne alacağınızı ve nasıl talep edeceğinizi. Google’ın Gemini Enterprise Agent Platform üzerindeki Gemini çevrimiçi çıkarım API’si için SLA’sı açık ve gerçek bir örnektir:

  • Hedef. generateContent ve streamGenerateContent yöntemleri için %99,5 Aylık Erişilebilirlik Yüzdesi (daha kısa erişilebilirlik için belirlenmiş modellerde %95).
  • Kesinti. “more than a five percent Error Rate” (çeviri: yüzde beşten fazla Hata Oranı); hatalar, geçerli isteklere verilen HTTP 5XX yanıtlarıdır ve yalnızca “five or more consecutive minutes” (çeviri: beş veya daha fazla ardışık dakika) süren dönemlerde sayılır.
  • Krediler.
Aylık erişilebilirlik Hizmetin aylık faturasına kredi
%99,0 ile %99,5’in altı %10
%95,0 ile %99,0’ın altı %25
%95,0’ın altı %50
  • Talep. Müşteri “must notify Google technical support within 30 days” (çeviri: 30 gün içinde Google teknik desteğine bildirmelidir) ve kesinti dönemlerini gösteren log dosyalarını sunmalıdır. Krediler, ayın hizmet faturasının %50’siyle sınırlıdır.
  • Hariç tutulanlar. GA öncesi özellikler, Grounding with Google Search, müşterinin kendi yazılımından kaynaklanan hatalar, sunucu varsayılanından kısa süre sınırları ve kota hataları kapsanmaz.

Aynı SLA, Provisioned Throughput altındaki bazı modeller için saniyedeki çıktı token’ıyla ölçülen bir gecikme hedefi de ekler. Azure, Amazon Bedrock, OpenAI, Anthropic ve diğerlerini yan yana görmek için bkz. LLM API SLA’ları karşılaştırması.

Neden önemli

  • Erişilebilirlik, işlem hacmi değildir. Yalnızca 5XX hatalarını sayan bir SLA, bir gecikme hedefi yoksa hız sınırları (429) veya yavaş yanıtlar hakkında bir şey söylemez.
  • Krediler küçüktür. %10’luk bir kredi, bir kesintinin ürününüze maliyetini nadiren karşılar. Yine de hataya göre tasarlayın: backoff ile yeniden denemeler, zaman aşımları ve bir yedek model veya sağlayıcı. Bkz. hatalar ve yeniden denemeler rehberi.
  • Hariç tutulanları okuyun. Google’ın SLA’sı GA öncesi özellikleri ve adı geçen hizmetleri hariç tutar; her SLA’da benzer istisnalara bakın.
  • Kendi loglarınızı tutun. Talepler kanıt ister. İstek kimliklerini, zaman damgalarını ve durum kodlarını loglayın.

BroadNet Inference’ta

BroadNet’in self-serve API’sinin, hem kullandıkça öde hem planlar için, SLA’sı yoktur. Hizmet Şartları (§7.4) şöyle der: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (BroadRouter çevirisi: API’yi erişilebilir tutmayı ve ölçtüklerimizi yayımlamayı amaçlıyoruz, ancak self-serve için bir erişilebilirlik taahhüdü yoktur.) Ayrıca “Service levels exist only in a separate written agreement” (BroadRouter çevirisi: hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır) ifadesini ve özel uç noktalarla ayrılmış kapasitenin bu sözleşmeye tabi olduğunu ekler. Sözleşmeli erişilebilirlik gerekiyorsa BroadNet’e özel bir uç nokta sorun; özel uç nokta planlama yazımız neleri planlamanız gerektiğini anlatır. Self-serve için bir fallback planlayın: sağlayıcı kontrol listesi, BroadNet’in belgelerinde SLA, durum sayfası veya kullanımdan kaldırma politikası bulamadığımızı not eder.

Sık sorulan sorular

%99,5 aylık erişilebilirlik ne kadar kesintiye izin verir?

30 günlük bir ayda yaklaşık 3,6 saat: 43.200 dakikanın %0,5'i 216 dakikadır. SLA'nın kesintiyi nasıl tanımladığına bakın, çünkü kısa veya kısmi kesintiler sayılmayabilir.

Hizmet kredileri zararımı karşılar mı?

Genellikle hayır. Krediler, etkilenen hizmetin gelecekteki faturalarında indirimdir ve çoğu zaman bir üst sınırı vardır. Örneğin Google'ın Gemini SLA'sı kredileri o ayın hizmet faturasının %50'siyle sınırlar ve SLA'yı müşterinin "sole and exclusive remedy" (çeviri: tek ve münhasır telafi yolu) olarak tanımlar.

BroadNet Inference'ın SLA'sı var mı?

Self-serve kullanımda yok. BroadNet'in Hizmet Şartları, self-serve için erişilebilirlik taahhüdü olmadığını ve hizmet seviyelerinin yalnızca ayrı bir yazılı sözleşmede, örneğin özel bir uç nokta için, yer aldığını söyler.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor