BroadRouter
Başlayın

Gecikme (latency)

Güncellendi

Gecikme (latency), bir dil modeli API'sinde, isteğin gönderilmesinden son çıktı token'ının alınmasına kadar geçen süredir. İlk token süresi ile üretim süresinin toplamıdır ve genellikle ortalama yerine p50 ve p95 gibi yüzdeliklerle raporlanır.

Diğer adları: gecikme, LLM gecikmesi, uçtan uca gecikme, yanıt süresi, token arası gecikme, latency, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Gecikme, kullanıcıların hissettiği sayıdır. Demodan üretime geçen ekipleri en çok şaşırtan da genellikle budur.

Nasıl çalışır

NVIDIA’nın metrik rehberi tek bir istek için temel formülü verir:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

İlk token süresi ağı, kuyrukta beklemeyi ve istemin okunmasını kapsar. Üretim süresi, ilk token’dan sonraki her şeydir: (çıktı token’ları − 1) × token arası gecikme (ITL), uzun bir yanıtta ise kabaca çıktı token’ları × ITL. NVIDIA’ya göre uçtan uca gecikme “includes queueing, batching, and network latency” (çeviri: kuyruğa alma, toplu işleme ve ağ gecikmesini içerir).

Yuvarlak sayılarla bir örnek: bir modelin saniyede 50 çıktı token’ı akıttığını varsayın. 600 token’lık bir yanıtın üretilmesi 600 ÷ 50 = 12 saniye sürer. Bir saniyelik TTFT ekleyin; istek yaklaşık 13 saniye sürer. Yanıtı yarıya indirirseniz 6 saniye kazanırsınız; TTFT’yi yarıya indirirseniz yarım saniye. Burada belirleyici olan çıktı uzunluğudur.

Bir uygulamada istek nadiren tek başınadır. Kullanıcının ekranındaki gecikme; hatalardan sonraki yeniden denemeleri, bir eşzamanlılık yuvası için beklemeyi, model turları arasındaki araç çağrılarını ve kendi kodunuzu da içerir.

Neden önemli

OpenAI’nin gecikme rehberi yedi ilke listeler: token’ları daha hızlı işleyin, daha az token üretin, daha az girdi token’ı kullanın, daha az istek yapın, paralelleştirin, kullanıcılarınızı daha az bekletin ve varsayılan olarak LLM’e yönelmeyin. Bunların çoğu sağlayıcı seçimi değil, tasarım tercihidir.

Yüzdelikleri raporlayın. p50 değerinin 4 saniye, p95 değerinin 30 saniye olması, her yirmi kullanıcıdan birinin yarım dakika veya daha uzun beklediği anlamına gelir. Ortalamalar bu kuyruğu gizler; zaman aşımları ise ona göre ayarlanır.

Gecikme ile işlem hacmi birbirine ters yönde çeker. NVIDIA, eşzamanlı istekler arttıkça sistemin toplam saniye başına token sayısının yükseldiğini, kullanıcı başına saniye başına token sayısının ise düştüğünü belirtir. Yoğun bir sağlayıcı daha çok kişiye hizmet verip her birine yine de daha yavaş gelebilir.

BroadNet Inference’ta

BroadNet’in planlar sayfası tipik hızı saniyede yaklaşık 100 token olarak verir. Belgeleri TTFT veya yüzdelik gecikme rakamları yayımlamaz. Bir kullandıkça öde anahtarı işlemde aynı anda 4 isteğe izin verir; belgeler eşzamanlılık sınırını HTTP 429’un nedenleri arasında sayar ve ardından gelen her yeniden deneme sizin tarafınızda gecikme ekler. Uzun ajan çalıştırmalarında zaman aşımları ve sınırlı yeniden denemeler ayarlanmalıdır; uzun süre çalışan ajanlarda zaman aşımları ve yeniden denemeler yazısına bakın. Her bileşeni istemci tarafından ölçmek için LLM gecikmesi rehberine bakın.

Sık sorulan sorular

Gecikme ile işlem hacmi arasındaki fark nedir?

Gecikme, tek bir isteğin ne kadar sürdüğüdür. İşlem hacmi, bir sistemin tüm istekler genelinde saniyede ne kadar iş bitirdiğidir. Bir sunucu daha fazla isteği toplu işleyerek işlem hacmini artırabilir, ama her istek yavaşlar.

Token arası gecikme nedir?

İlk token'dan sonraki çıktı token'ları arasındaki ortalama aralıktır; çıktı token'ı başına süre olarak da bilinir. NVIDIA bunu uçtan uca gecikme eksi TTFT'nin, çıktı token'ları eksi bire bölünmesi olarak tanımlar.

LLM gecikmesini nasıl azaltabilirim?

Daha az çıktı token'ı üretin, daha kısa istemler gönderin, kullanıcıların metni daha erken görmesi için yanıtı akışla iletin ve bağımsız çağrıları paralel çalıştırın. OpenAI'nin gecikme rehberi bunları yedi ilkesi arasında sayar.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor