“API yavaş” üç farklı şey anlamına gelebilir ve her birinin çözümü farklıdır. Sohbet kullanıcısı ilk kelimeyi bekler. Bir ajan araç çağrısının tamamını bekler. Bir toplu iş ise saatteki token sayısını önemser. Bu yazı bu üç sayıyı tanımlıyor, kendi kodunuzdan nasıl ölçüleceğini gösteriyor ve her iyileştirmeyi gerçekten değiştirdiği sayıyla eşleştiriyor.
TTFT, saniye başına token ve uçtan uca gecikme nedir?
NVIDIA’nın benchmark rehberi net tanımlar veriyor ve bunlar bir istemciden gözlemleyebildiklerinizle örtüşüyor:
| Metrik | Neyi ölçer | Kim hisseder | Neye bağlıdır |
|---|---|---|---|
| İlk token süresi (TTFT) | İstek gönderildi → ilk token alındı | Sohbet kullanıcıları | Ağ, kuyruk, istem uzunluğu (prefill), önbellek isabetleri |
| Token’lar arası gecikme (ITL) | Token’lar arasındaki ortalama boşluk | Akan bir yanıtı okuyanlar | Model boyutu, donanım, sunucu yükü |
| Kullanıcı başına saniye başına token | İlk token’dan sonraki çıktı token’ları ÷ üretim süresi (ilk token’dan sonuncuya); ortalama ITL’nin tersine (1 ÷ ITL) eşittir | Okuyanlar, ajanlar | ITL ile aynı |
| Uçtan uca gecikme | İstek gönderildi → son token alındı | Ajanlar, API’ler, toplu işler | TTFT + üretim süresi |
Bunları birbirine bağlayan formül:
uçtan uca ≈ TTFT + (çıktı token’ları − 1) × ITL ≈ TTFT + çıktı token’ları ÷ kullanıcı başına saniye başına token
Kullanıcı başına hız, sunucu işlem hacmiyle (throughput), yani bir sunucunun tüm kullanıcılar için ürettiği toplam token’la aynı şey değildir; bir sağlayıcı biri düşerken diğerini artırabilir.
BroadNet’in plan modeli için yayımladığı tipik hızı, saniyede yaklaşık 100 token, ele alın. Üretim süresi yanıt uzunluğuyla birlikte artar: 4.000 token’lık bir kod dosyasının üretilmesi, 50 token’lık bir sınıflandırmadan yaklaşık seksen kat uzun sürer; ikisi de aynı TTFT’yi bekler. Kısa yanıtlarda beklemenin çoğu TTFT’dir; uzun yanıtlarda ise hız ve uzunluk.
Akıl yürütme modelleri neden dördüncü bir sayıya ihtiyaç duyar?
DeepSeek V4.1 Flash gibi akıl yürütme modelleri yanıt vermeden önce düşünür ve bu düşünme de çıktı token’ıdır. Model saniyede yaklaşık 100 token hızında 800 token akıl yürütürse, kablo üzerindeki TTFT hızlı görünse bile kullanıcı ilk görünür kelimeden önce bu 800 token’ın hepsinin üretilmesini bekler. Bu yüzden ilk içerik token’ı süresini ayrı ölçün. BroadNet Inference’ta reasoning_effort: "low" basit adımlarda düşünmeyi kısaltır; akıl yürütme rehberi bu ödünleşimi açıklıyor.
Gecikme istemci tarafından nasıl ölçülür?
Ölçümü kullanıcılarınızın bulunduğu yerde, akış (streaming) açıkken yapın. Sunucu tarafı zamanlayıcılar ağı ve aradaki proxy’leri kaçırır.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
Adil bir ölçüm için beş kural:
- İstem uzunluğunu sabitleyin ve raporlayın. 500 istem token’ında ve 200.000 istem token’ında ölçülen TTFT farklı sayılardır. Token sayacı, bir test isteminin uzunluğunu göndermeden önce söyler.
- Çıktı uzunluğunu
max_tokensve onu dolduracak bir istemle sabitleyin; böylece saniye başına token karşılaştırılabilir olur. - Ortalamayı değil, p50 ve p95’i raporlayın. Kullanıcıların aklında kalan kuyruk gecikmesidir.
- Çalıştırmaları zamana yayın. Yük gün içinde değişir.
- Önce ısındırın. İlk çağrı DNS, TLS ve bağlantı kurulumunun bedelini öder; tek bir istemciyi yeniden kullanın.
Her sayıyı gerçekte ne iyileştirir?
| İyileştirmek için | Şunu yapın | Neden |
|---|---|---|
| TTFT | İstem önekini kısaltın veya önbelleğe alın | Prefill süresi istem uzunluğuyla artar; önbellekli önekler işi atlar |
| TTFT | Bağlantıları sıcak tutun, yakın bir bölge kullanın | Kurulumu ve gidiş-dönüşleri ortadan kaldırır |
| İlk içerik token’ı süresi | Akıl yürütme düzeyini düşürün veya basit adımlar için akıl yürütmeyen bir model kullanın | Yanıttan önce daha az gizli düşünme |
| Saniye başına token | O adım için daha küçük veya daha hızlı bir model kullanın | Çözme (decode) hızı model boyutuna ve sunuma bağlıdır |
| Uçtan uca | Daha kısa çıktı isteyin (şemalar, kelime sınırları) | Çıktı uzunluğu ITL ile çarpılır |
| Çok sayıda çağrıda uçtan uca | Bağımsız çağrıları eşzamanlılık sınırınız içinde paralel çalıştırın | Her çağrı aynı kalsa da toplam bekleme süresi düşer |
| Algılanan gecikme | Kullanıcıya akışla gönderin | Model yazarken kullanıcı okur |
Çıktı uzunluğu en çok hafife alınan kaldıraçtır. “Cevabını açıkla” yerine “şu dört alanı olan JSON” istemek, hiçbir altyapı çalışması yapmadan üretim süresini on kat kısaltabilir. Burada yapılandırılmış çıktı yardımcı olur.
Önbellek kaldıracı önbelleğe uygun istem yapısı yazısında anlatılıyor. Paralellik kaldıracı ise hızla hız sınırlarına takılır; bkz. 429 hatalarını yönetme.
İstem uzunluğu ödünleşimi nasıl değiştirir?
TTFT istemle birlikte büyür, çünkü model yazmaya başlamadan önce her girdi token’ını işlemek zorundadır. Bu, çok uzun istemlerin gizli maliyetidir ve uzun bağlam ile RAG kararının bir parçasıdır: 1M token’lık bir istem RAG’ın yanıtlayamadığı soruları yanıtlar, ama daha yavaş başlar. Etkileşim hızı önemliyse sık kullanılan yolu kısa tutun ve büyük bağlamı yalnızca soru gerektirdiğinde gönderin.
BroadNet Inference nereye uyuyor?
BroadNet, plan modeli için saniyede yaklaşık 100 token tipik hız yayımlıyor ve standart SSE biçimiyle akış yapıyor; yani yukarıdaki kod değiştirmeden çalışır. TTFT rakamları veya gecikme SLA’sı yayımlamıyor; bu yüzden karar vermeden önce kendi istemlerinizle ölçün. $1 fiyatlı bir Meteor saati 50 çalıştırmalık bir ölçüm için yeterlidir; başlangıç kredisi de Gemma 4 VL 26B üzerinde bir ölçümü karşılar. Büyük ölçekte garantili bir saniyenin altında gecikmeye ihtiyacınız varsa dikkatle test edin: kullandıkça öde anahtarı aynı anda 4 uçuştaki isteğe izin verir; bu da yüksek hacimli gerçek zamanlı sunumdan çok uygulamalara ve ajanlara uyar. Modeller ve fiyatları modeller ve fiyatlar sayfalarında.
