Gecikme, kullanıcıların hissettiği sayıdır. Demodan üretime geçen ekipleri en çok şaşırtan da genellikle budur.
Nasıl çalışır
NVIDIA’nın metrik rehberi tek bir istek için temel formülü verir:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
İlk token süresi ağı, kuyrukta beklemeyi ve istemin okunmasını kapsar. Üretim süresi, ilk token’dan sonraki her şeydir: (çıktı token’ları − 1) × token arası gecikme (ITL), uzun bir yanıtta ise kabaca çıktı token’ları × ITL. NVIDIA’ya göre uçtan uca gecikme “includes queueing, batching, and network latency” (çeviri: kuyruğa alma, toplu işleme ve ağ gecikmesini içerir).
Yuvarlak sayılarla bir örnek: bir modelin saniyede 50 çıktı token’ı akıttığını varsayın. 600 token’lık bir yanıtın üretilmesi 600 ÷ 50 = 12 saniye sürer. Bir saniyelik TTFT ekleyin; istek yaklaşık 13 saniye sürer. Yanıtı yarıya indirirseniz 6 saniye kazanırsınız; TTFT’yi yarıya indirirseniz yarım saniye. Burada belirleyici olan çıktı uzunluğudur.
Bir uygulamada istek nadiren tek başınadır. Kullanıcının ekranındaki gecikme; hatalardan sonraki yeniden denemeleri, bir eşzamanlılık yuvası için beklemeyi, model turları arasındaki araç çağrılarını ve kendi kodunuzu da içerir.
Neden önemli
OpenAI’nin gecikme rehberi yedi ilke listeler: token’ları daha hızlı işleyin, daha az token üretin, daha az girdi token’ı kullanın, daha az istek yapın, paralelleştirin, kullanıcılarınızı daha az bekletin ve varsayılan olarak LLM’e yönelmeyin. Bunların çoğu sağlayıcı seçimi değil, tasarım tercihidir.
Yüzdelikleri raporlayın. p50 değerinin 4 saniye, p95 değerinin 30 saniye olması, her yirmi kullanıcıdan birinin yarım dakika veya daha uzun beklediği anlamına gelir. Ortalamalar bu kuyruğu gizler; zaman aşımları ise ona göre ayarlanır.
Gecikme ile işlem hacmi birbirine ters yönde çeker. NVIDIA, eşzamanlı istekler arttıkça sistemin toplam saniye başına token sayısının yükseldiğini, kullanıcı başına saniye başına token sayısının ise düştüğünü belirtir. Yoğun bir sağlayıcı daha çok kişiye hizmet verip her birine yine de daha yavaş gelebilir.
BroadNet Inference’ta
BroadNet’in planlar sayfası tipik hızı saniyede yaklaşık 100 token olarak verir. Belgeleri TTFT veya yüzdelik gecikme rakamları yayımlamaz. Bir kullandıkça öde anahtarı işlemde aynı anda 4 isteğe izin verir; belgeler eşzamanlılık sınırını HTTP 429’un nedenleri arasında sayar ve ardından gelen her yeniden deneme sizin tarafınızda gecikme ekler. Uzun ajan çalıştırmalarında zaman aşımları ve sınırlı yeniden denemeler ayarlanmalıdır; uzun süre çalışan ajanlarda zaman aşımları ve yeniden denemeler yazısına bakın. Her bileşeni istemci tarafından ölçmek için LLM gecikmesi rehberine bakın.