BroadRouter

LLM gecikmesi: TTFT, saniye başına token ve uçtan uca süre

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı · Güncellendi

İlk token süresi (TTFT), ilk çıktı token'ı gelmeden önceki bekleme süresidir. Saniye başına token, yanıtın ardından ne kadar hızlı aktığıdır. Uçtan uca gecikme ise toplamdır: TTFT artı üretim süresi, yani kabaca çıktı token'larının kullanıcı başına hıza bölümü. TTFT'yi istem uzunluğu ve kuyruk, hızı model boyutu ve yük, toplamı ise yanıt uzunluğu belirler. Üçünü de p50 ve p95'te ölçün.

“API yavaş” üç farklı şey anlamına gelebilir ve her birinin çözümü farklıdır. Sohbet kullanıcısı ilk kelimeyi bekler. Bir ajan araç çağrısının tamamını bekler. Bir toplu iş ise saatteki token sayısını önemser. Bu yazı bu üç sayıyı tanımlıyor, kendi kodunuzdan nasıl ölçüleceğini gösteriyor ve her iyileştirmeyi gerçekten değiştirdiği sayıyla eşleştiriyor.

TTFT, saniye başına token ve uçtan uca gecikme nedir?

NVIDIA’nın benchmark rehberi net tanımlar veriyor ve bunlar bir istemciden gözlemleyebildiklerinizle örtüşüyor:

Metrik Neyi ölçer Kim hisseder Neye bağlıdır
İlk token süresi (TTFT) İstek gönderildi → ilk token alındı Sohbet kullanıcıları Ağ, kuyruk, istem uzunluğu (prefill), önbellek isabetleri
Token’lar arası gecikme (ITL) Token’lar arasındaki ortalama boşluk Akan bir yanıtı okuyanlar Model boyutu, donanım, sunucu yükü
Kullanıcı başına saniye başına token İlk token’dan sonraki çıktı token’ları ÷ üretim süresi (ilk token’dan sonuncuya); ortalama ITL’nin tersine (1 ÷ ITL) eşittir Okuyanlar, ajanlar ITL ile aynı
Uçtan uca gecikme İstek gönderildi → son token alındı Ajanlar, API’ler, toplu işler TTFT + üretim süresi

Bunları birbirine bağlayan formül:

uçtan uca ≈ TTFT + (çıktı token’ları − 1) × ITL ≈ TTFT + çıktı token’ları ÷ kullanıcı başına saniye başına token

Kullanıcı başına hız, sunucu işlem hacmiyle (throughput), yani bir sunucunun tüm kullanıcılar için ürettiği toplam token’la aynı şey değildir; bir sağlayıcı biri düşerken diğerini artırabilir.

BroadNet’in plan modeli için yayımladığı tipik hızı, saniyede yaklaşık 100 token, ele alın. Üretim süresi yanıt uzunluğuyla birlikte artar: 4.000 token’lık bir kod dosyasının üretilmesi, 50 token’lık bir sınıflandırmadan yaklaşık seksen kat uzun sürer; ikisi de aynı TTFT’yi bekler. Kısa yanıtlarda beklemenin çoğu TTFT’dir; uzun yanıtlarda ise hız ve uzunluk.

Akıl yürütme modelleri neden dördüncü bir sayıya ihtiyaç duyar?

DeepSeek V4.1 Flash gibi akıl yürütme modelleri yanıt vermeden önce düşünür ve bu düşünme de çıktı token’ıdır. Model saniyede yaklaşık 100 token hızında 800 token akıl yürütürse, kablo üzerindeki TTFT hızlı görünse bile kullanıcı ilk görünür kelimeden önce bu 800 token’ın hepsinin üretilmesini bekler. Bu yüzden ilk içerik token’ı süresini ayrı ölçün. BroadNet Inference’ta reasoning_effort: "low" basit adımlarda düşünmeyi kısaltır; akıl yürütme rehberi bu ödünleşimi açıklıyor.

Gecikme istemci tarafından nasıl ölçülür?

Ölçümü kullanıcılarınızın bulunduğu yerde, akış (streaming) açıkken yapın. Sunucu tarafı zamanlayıcılar ağı ve aradaki proxy’leri kaçırır.

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

Adil bir ölçüm için beş kural:

  1. İstem uzunluğunu sabitleyin ve raporlayın. 500 istem token’ında ve 200.000 istem token’ında ölçülen TTFT farklı sayılardır. Token sayacı, bir test isteminin uzunluğunu göndermeden önce söyler.
  2. Çıktı uzunluğunu max_tokens ve onu dolduracak bir istemle sabitleyin; böylece saniye başına token karşılaştırılabilir olur.
  3. Ortalamayı değil, p50 ve p95’i raporlayın. Kullanıcıların aklında kalan kuyruk gecikmesidir.
  4. Çalıştırmaları zamana yayın. Yük gün içinde değişir.
  5. Önce ısındırın. İlk çağrı DNS, TLS ve bağlantı kurulumunun bedelini öder; tek bir istemciyi yeniden kullanın.

Her sayıyı gerçekte ne iyileştirir?

İyileştirmek için Şunu yapın Neden
TTFT İstem önekini kısaltın veya önbelleğe alın Prefill süresi istem uzunluğuyla artar; önbellekli önekler işi atlar
TTFT Bağlantıları sıcak tutun, yakın bir bölge kullanın Kurulumu ve gidiş-dönüşleri ortadan kaldırır
İlk içerik token’ı süresi Akıl yürütme düzeyini düşürün veya basit adımlar için akıl yürütmeyen bir model kullanın Yanıttan önce daha az gizli düşünme
Saniye başına token O adım için daha küçük veya daha hızlı bir model kullanın Çözme (decode) hızı model boyutuna ve sunuma bağlıdır
Uçtan uca Daha kısa çıktı isteyin (şemalar, kelime sınırları) Çıktı uzunluğu ITL ile çarpılır
Çok sayıda çağrıda uçtan uca Bağımsız çağrıları eşzamanlılık sınırınız içinde paralel çalıştırın Her çağrı aynı kalsa da toplam bekleme süresi düşer
Algılanan gecikme Kullanıcıya akışla gönderin Model yazarken kullanıcı okur

Çıktı uzunluğu en çok hafife alınan kaldıraçtır. “Cevabını açıkla” yerine “şu dört alanı olan JSON” istemek, hiçbir altyapı çalışması yapmadan üretim süresini on kat kısaltabilir. Burada yapılandırılmış çıktı yardımcı olur.

Önbellek kaldıracı önbelleğe uygun istem yapısı yazısında anlatılıyor. Paralellik kaldıracı ise hızla hız sınırlarına takılır; bkz. 429 hatalarını yönetme.

İstem uzunluğu ödünleşimi nasıl değiştirir?

TTFT istemle birlikte büyür, çünkü model yazmaya başlamadan önce her girdi token’ını işlemek zorundadır. Bu, çok uzun istemlerin gizli maliyetidir ve uzun bağlam ile RAG kararının bir parçasıdır: 1M token’lık bir istem RAG’ın yanıtlayamadığı soruları yanıtlar, ama daha yavaş başlar. Etkileşim hızı önemliyse sık kullanılan yolu kısa tutun ve büyük bağlamı yalnızca soru gerektirdiğinde gönderin.

BroadNet Inference nereye uyuyor?

BroadNet, plan modeli için saniyede yaklaşık 100 token tipik hız yayımlıyor ve standart SSE biçimiyle akış yapıyor; yani yukarıdaki kod değiştirmeden çalışır. TTFT rakamları veya gecikme SLA’sı yayımlamıyor; bu yüzden karar vermeden önce kendi istemlerinizle ölçün. $1 fiyatlı bir Meteor saati 50 çalıştırmalık bir ölçüm için yeterlidir; başlangıç kredisi de Gemma 4 VL 26B üzerinde bir ölçümü karşılar. Büyük ölçekte garantili bir saniyenin altında gecikmeye ihtiyacınız varsa dikkatle test edin: kullandıkça öde anahtarı aynı anda 4 uçuştaki isteğe izin verir; bu da yüksek hacimli gerçek zamanlı sunumdan çok uygulamalara ve ajanlara uyar. Modeller ve fiyatları modeller ve fiyatlar sayfalarında.

Sık sorulan sorular

Bir LLM API için iyi bir ilk token süresi ne kadar?

Sohbette, kısa istemlerde yaklaşık bir saniyenin altı hızlı hissettirir. Uzun istemler ve akıl yürütme modelleri doğası gereği daha uzun sürer. TTFT'yi yalnızca aynı istem uzunluğunda ve aynı modelde karşılaştırın.

Saniye başına token ile işlem hacmi aynı şey mi?

Tam olarak değil. Kullanıcı başına saniye başına token, tek bir yanıtın ne kadar hızlı aktığıdır. İşlem hacmi (throughput) ise bir sunucunun tüm kullanıcılar için ürettiği toplam token'dır. Bir sağlayıcı, her kullanıcının hızı düşerken toplam işlem hacmini artırabilir.

Akıl yürütme modelinde TTFT neden bu kadar yüksek?

Model, görünür yanıttan önce gizli akıl yürütme token'ları üretir. İlk token hızlı gelebilir, ancak ilk içerik token'ı düşünme bitene kadar bekler. Basit görevlerde reasoning_effort değerini düşürün.

Akış (streaming) gecikmeyi azaltır mı?

Uçtan uca süreyi kısaltmaz. Kullanıcının yanıtı yazılırken okumasını sağlar; böylece algılanan gecikme kabaca TTFT düzeyine iner.

Güvenilir bir gecikme ölçümü için kaç istek gerekir?

Kuyruğu (tail) görecek kadar. İstem boyutu başına elli ile yüz istek, kullanılabilir bir p95 verir. Yük gün içinde değiştiği için istekleri güne yayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor