Saniyedeki token, tek bir yanıtın ne kadar hızlı aktığını söyler. İşlem hacmi ise bütün bir sistemin ne kadar iş çıkardığını.
Nasıl çalışır
NVIDIA’nın kıyaslama rehberi ikisini birbirinden ayırır. Sistem başına toplam TPS, “total output token throughput across all simultaneous requests” (çeviri: tüm eşzamanlı isteklerdeki toplam çıktı token işlem hacmi) olarak tanımlanır: tüm çıktı token’larının, ilk istekten son yanıta kadar geçen süreye bölümü. Kullanıcı başına TPS, tek bir isteğin çıktı uzunluğunun uçtan uca süresine bölümüdür. Saniyedeki istek (RPS) ise token yerine tamamlanan istekleri sayar.
Kilit cümle şudur: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (çeviri: Eşzamanlı istek sayısı arttıkça toplam sistem TPS’si artar, kullanıcı başına TPS ise düşer.) Toplam TPS, GPU doyuma ulaşana kadar tırmanır; o noktadan sonra düşebilir.
Sunucuda sınır genellikle bellektir. PagedAttention makalesi, yüksek işlem hacmiyle sunumun “requires batching sufficiently many requests at a time” (çeviri: aynı anda yeterince çok isteğin gruplanmasını gerektirdiğini) açıklar ve kaç isteğin sığacağını her isteğin KV önbelleği belirler. Daha iyi bellek yönetimi, vLLM’in aynı gecikmede önceki sistemlerin 2 ila 4 katı işlem hacmine ulaşmasını sağladı.
Neden önemli
Bir API çağıran için işlem hacmi, borunun sizin tarafınızla ilgilidir: saatte kaç belge işleyebildiğiniz veya kaç ajanın aynı anda çalışabildiği. Basit bir kurala uyar:
your throughput ≈ concurrent requests × per-stream tokens per second
Yani işlem hacminiz kabaca eşzamanlı istek sayısı ile akış başına saniyedeki token’ın çarpımıdır. Bu, yalnızca siz yük ekledikçe sağlayıcı akış başına hızı sabit tuttuğu sürece geçerlidir. Bunu ölçün; varsaymayın.
İşlem hacmini tek başına model değil, eşzamanlılık sınırınız ve hız sınırlarınız kısıtlar. Bir iş yavaşsa, paralel çalışabilecek isteklerin art arda çalışıp çalışmadığını kontrol edin.
BroadNet Inference’ta
BroadNet, sistem işlem hacmi rakamı değil, anahtar başına sınırlar yayımlar. Planlar sayfası, plan modeli olan DeepSeek V4.1 Flash için saniyede yaklaşık 100 token tipik hız verir; diğer modeller için hız yayımlamaz. Bir örnek olarak, her akış bu hızda çalışsaydı:
| Seçenek | Paralel istekler | Hız sabit kalırsa üst sınır |
|---|---|---|
| Kullandıkça öde anahtarı | 4 (ve dakikada 30 istek) | 4 akış × her biri saniyede yaklaşık 100 token |
| Saatlik anahtar (Gemma 4 VL 26B) | 1 akış, dakikada 300,000 token | yayımlanmamış; ölçün |
| Sabit fiyatlı plan oturumu | Aynı anda 1 istek | saniyede yaklaşık 100 token |
Sabit fiyatlı bir planı ölçeklendirmek için oturum eklersiniz, paralel çalışan her ajan için bir tane; bkz. sınırsız LLM API oturumları ve paralel kodlama ajanları çalıştırma. Bu hız, BroadNet’in DeepSeek V4.1 Flash için belirttiği tipik rakamdır; diğer modeller için veya yük altında garanti değildir.