BroadRouter
Başlayın

İşlem hacmi (throughput)

Güncellendi

İşlem hacmi (throughput), LLM sunumunda bir sistemin tüm eşzamanlı isteklerde birim zamanda tamamladığı toplam iş miktarıdır; genellikle saniyedeki çıktı token'ı veya saniyedeki istek olarak ölçülür. Tek bir isteğin token'larını ne kadar hızlı aldığını gösteren akış başına hızdan farklıdır.

Diğer adları: işlem hacmi, sistem işlem hacmi, toplam işlem hacmi, saniyedeki istek, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Saniyedeki token, tek bir yanıtın ne kadar hızlı aktığını söyler. İşlem hacmi ise bütün bir sistemin ne kadar iş çıkardığını.

Nasıl çalışır

NVIDIA’nın kıyaslama rehberi ikisini birbirinden ayırır. Sistem başına toplam TPS, “total output token throughput across all simultaneous requests” (çeviri: tüm eşzamanlı isteklerdeki toplam çıktı token işlem hacmi) olarak tanımlanır: tüm çıktı token’larının, ilk istekten son yanıta kadar geçen süreye bölümü. Kullanıcı başına TPS, tek bir isteğin çıktı uzunluğunun uçtan uca süresine bölümüdür. Saniyedeki istek (RPS) ise token yerine tamamlanan istekleri sayar.

Kilit cümle şudur: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (çeviri: Eşzamanlı istek sayısı arttıkça toplam sistem TPS’si artar, kullanıcı başına TPS ise düşer.) Toplam TPS, GPU doyuma ulaşana kadar tırmanır; o noktadan sonra düşebilir.

Sunucuda sınır genellikle bellektir. PagedAttention makalesi, yüksek işlem hacmiyle sunumun “requires batching sufficiently many requests at a time” (çeviri: aynı anda yeterince çok isteğin gruplanmasını gerektirdiğini) açıklar ve kaç isteğin sığacağını her isteğin KV önbelleği belirler. Daha iyi bellek yönetimi, vLLM’in aynı gecikmede önceki sistemlerin 2 ila 4 katı işlem hacmine ulaşmasını sağladı.

Neden önemli

Bir API çağıran için işlem hacmi, borunun sizin tarafınızla ilgilidir: saatte kaç belge işleyebildiğiniz veya kaç ajanın aynı anda çalışabildiği. Basit bir kurala uyar:

your throughput ≈ concurrent requests × per-stream tokens per second

Yani işlem hacminiz kabaca eşzamanlı istek sayısı ile akış başına saniyedeki token’ın çarpımıdır. Bu, yalnızca siz yük ekledikçe sağlayıcı akış başına hızı sabit tuttuğu sürece geçerlidir. Bunu ölçün; varsaymayın.

İşlem hacmini tek başına model değil, eşzamanlılık sınırınız ve hız sınırlarınız kısıtlar. Bir iş yavaşsa, paralel çalışabilecek isteklerin art arda çalışıp çalışmadığını kontrol edin.

BroadNet Inference’ta

BroadNet, sistem işlem hacmi rakamı değil, anahtar başına sınırlar yayımlar. Planlar sayfası, plan modeli olan DeepSeek V4.1 Flash için saniyede yaklaşık 100 token tipik hız verir; diğer modeller için hız yayımlamaz. Bir örnek olarak, her akış bu hızda çalışsaydı:

Seçenek Paralel istekler Hız sabit kalırsa üst sınır
Kullandıkça öde anahtarı 4 (ve dakikada 30 istek) 4 akış × her biri saniyede yaklaşık 100 token
Saatlik anahtar (Gemma 4 VL 26B) 1 akış, dakikada 300,000 token yayımlanmamış; ölçün
Sabit fiyatlı plan oturumu Aynı anda 1 istek saniyede yaklaşık 100 token

Sabit fiyatlı bir planı ölçeklendirmek için oturum eklersiniz, paralel çalışan her ajan için bir tane; bkz. sınırsız LLM API oturumları ve paralel kodlama ajanları çalıştırma. Bu hız, BroadNet’in DeepSeek V4.1 Flash için belirttiği tipik rakamdır; diğer modeller için veya yük altında garanti değildir.

Sık sorulan sorular

İşlem hacmi, saniyedeki token ile aynı şey mi?

Yalnızca sistem düzeyinde. Akış başına saniyedeki token, tek bir isteğin gördüğü hızdır. İşlem hacmi tüm akışları toplar. NVIDIA bunlara kullanıcı başına TPS ve sistem başına toplam TPS der.

Bir LLM API'sinden nasıl daha fazla işlem hacmi alırım?

Eşzamanlılık ve hız sınırlarınıza kadar daha fazla isteği paralel çalıştırın ve her isteği kısa tutun. Her istek yuvasını zaten tam kullanıyorsa, artırmanın tek yolu daha fazla yuva, anahtar veya oturumdur.

Daha yüksek işlem hacmi daha düşük gecikme demek mi?

Hayır. İşlem hacmi tüm isteklerde saniyedeki toplam iştir; gecikme ise tek bir isteğin ne kadar sürdüğüdür. Aynı anda daha fazla istek sunmak toplam işlem hacmini artırır ama her isteği yavaşlatabilir; NVIDIA'nın kullanıcı başına TPS ile toplam TPS'yi ayrı raporlamasının nedeni budur.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor