Hızın iki parçası vardır: bir şey görünmeden önce ne kadar beklendiği ve ardından metnin ne kadar hızlı aktığı. Saniyedeki token ikinci parçayı ölçer.
Nasıl çalışır
NVIDIA’nın kıyaslama belgeleri ilgili metrikleri tanımlar:
- İlk token süresi (TTFT): isteğin gönderilmesinden ilk token’ın alınmasına kadar geçen süre. İstem uzunluğuyla artar.
- Token arası gecikme (ITL): çıktı token’ları arasındaki ortalama aralık.
- Kullanıcı başına TPS: tek bir isteğin çıktı token’larının uçtan uca süresine bölümü; yani NVIDIA’nın tanımında TTFT’yi de içerir. Birçok gösterge paneli ise bu sayfanın yaptığı gibi ilk token’dan sonraki kod çözme hızını verir.
- Sistem TPS: tüm eşzamanlı isteklerdeki toplam çıktı token’ları; işlem hacmi (throughput) olarak da adlandırılır.
Bunlar zıt yönlere çeker. NVIDIA, eşzamanlılık arttıkça sistem TPS’sinin yükseldiğini, kullanıcı başına TPS’nin ise düştüğünü belirtir. Bir sağlayıcının pazarlama rakamı ile sizin tek isteğinizin hızı ikisi de dürüst olup yine de farklı olabilir.
Tek bir yanıt için hızlı bir tahmin:
total time ≈ TTFT + output tokens ÷ tokens per second
Yani toplam süre ≈ TTFT + çıktı token’ları ÷ saniyedeki token. Saniyede 50 token’lık örnek bir akış düşünün: 1.000 token’lık bir yanıt, ilk token’dan sonra yaklaşık 20 saniye sürer. Model ayrıca 2.000 akıl yürütme token’ı yazıyorsa, yanıt başlamadan önce yaklaşık 40 saniye ekleyin. İlk token süresi bunların üzerine gelir.
Neden önemli
- Kullanıcı deneyimi. Akış (streaming) metni geldikçe gösterir; bu yüzden bir yanıtın ne kadar hızlı hissettireceğini TTFT ve TPS belirler.
- Ajan verimi. Bir kodlama ajanı bir sonraki adımından önce her yanıtı bekler. Daha hızlı çıktı, saatte daha fazla adım demektir.
- Plan sınırları. Token sayacı olmayan bir planda, kullanabileceğiniz token miktarının asıl tavanı hız olur.
BroadNet Inference’ta
BroadNet’in planlar sayfası, DeepSeek V4.1 Flash için saniyede yaklaşık 100 token tipik hız belirtir. Sınırsız planlardaki bir oturum aynı anda tek istek çalıştırır; bu yüzden bu hızda 30 gün boyunca kesintisiz üretim yapan bir oturum yaklaşık 259 milyon çıktı token’ı üretirdi. Gerçek ajanlar okumaya, araç çalıştırmaya ve beklemeye zaman harcar; bu yüzden pratikteki rakam daha düşüktür.
Bir planda toplam işlem hacmini artırmak için oturum ekleyin: paralel çalışan her ajan için bir tane. Bkz. sınırsız oturumlar nasıl çalışır ve paralel kodlama ajanları çalıştırma.
Sık yapılan hatalar
- Sağlayıcıları tek bir istekle karşılaştırmak. TTFT ve TPS’yi kendi istem boyutlarınızla, çok sayıda istek üzerinden ölçün.
- İstemci zaman aşımlarını ayarlarken akıl yürütme süresini unutmak.