---
title: "LLM throughput nedir? Sistem genelinde saniyede token"
description: "LLM işlem hacmi (throughput), bir sistemin tüm eşzamanlı isteklerde saniyede bitirdiği toplam iştir; token veya istek cinsinden. Akış başına hızdan farkı."
url: https://broadrouter.com/tr/glossary/throughput/
lang: tr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/throughput/) (güncelleme: 2026-11-14).

# İşlem hacmi (throughput)

Güncellendi 2026-11-14

İşlem hacmi (throughput), LLM sunumunda bir sistemin tüm eşzamanlı isteklerde birim zamanda tamamladığı toplam iş miktarıdır; genellikle saniyedeki çıktı token'ı veya saniyedeki istek olarak ölçülür. Tek bir isteğin token'larını ne kadar hızlı aldığını gösteren akış başına hızdan farklıdır.

Diğer adları: işlem hacmi, sistem işlem hacmi, toplam işlem hacmi, saniyedeki istek, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Saniyedeki token](https://broadrouter.com/tr/glossary/tokens-per-second/), tek bir yanıtın ne kadar hızlı aktığını söyler. İşlem hacmi ise bütün bir sistemin ne kadar iş çıkardığını.

## Nasıl çalışır

NVIDIA’nın kıyaslama rehberi ikisini birbirinden ayırır. **Sistem başına toplam TPS**, “total output token throughput across all simultaneous requests” (çeviri: tüm eşzamanlı isteklerdeki toplam çıktı token işlem hacmi) olarak tanımlanır: tüm çıktı token’larının, ilk istekten son yanıta kadar geçen süreye bölümü. **Kullanıcı başına TPS**, tek bir isteğin çıktı uzunluğunun uçtan uca süresine bölümüdür. **Saniyedeki istek (RPS)** ise token yerine tamamlanan istekleri sayar.

Kilit cümle şudur: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (çeviri: Eşzamanlı istek sayısı arttıkça toplam sistem TPS’si artar, kullanıcı başına TPS ise düşer.) Toplam TPS, GPU doyuma ulaşana kadar tırmanır; o noktadan sonra düşebilir.

Sunucuda sınır genellikle bellektir. PagedAttention makalesi, yüksek işlem hacmiyle sunumun “requires batching sufficiently many requests at a time” (çeviri: aynı anda yeterince çok isteğin gruplanmasını gerektirdiğini) açıklar ve kaç isteğin sığacağını her isteğin [KV önbelleği](https://broadrouter.com/tr/glossary/kv-cache/) belirler. Daha iyi bellek yönetimi, vLLM’in aynı gecikmede önceki sistemlerin 2 ila 4 katı işlem hacmine ulaşmasını sağladı.

## Neden önemli

Bir API çağıran için işlem hacmi, borunun sizin tarafınızla ilgilidir: saatte kaç belge işleyebildiğiniz veya kaç ajanın aynı anda çalışabildiği. Basit bir kurala uyar:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Yani işlem hacminiz kabaca eşzamanlı istek sayısı ile akış başına saniyedeki token’ın çarpımıdır. Bu, yalnızca siz yük ekledikçe sağlayıcı akış başına hızı sabit tuttuğu sürece geçerlidir. Bunu ölçün; varsaymayın.

İşlem hacmini tek başına model değil, [eşzamanlılık](https://broadrouter.com/tr/glossary/concurrency/) sınırınız ve hız sınırlarınız kısıtlar. Bir iş yavaşsa, paralel çalışabilecek isteklerin art arda çalışıp çalışmadığını kontrol edin.

## BroadNet Inference’ta

BroadNet, sistem işlem hacmi rakamı değil, anahtar başına sınırlar yayımlar. Planlar sayfası, plan modeli olan DeepSeek V4.1 Flash için saniyede yaklaşık 100 token tipik hız verir; diğer modeller için hız yayımlamaz. Bir örnek olarak, her akış bu hızda çalışsaydı:

| Seçenek | Paralel istekler | Hız sabit kalırsa üst sınır |
| --- | --- | --- |
| Kullandıkça öde anahtarı | 4 (ve dakikada 30 istek) | 4 akış × her biri saniyede yaklaşık 100 token |
| Saatlik anahtar (Gemma 4 VL 26B) | 1 akış, dakikada 300,000 token | yayımlanmamış; ölçün |
| Sabit fiyatlı plan oturumu | Aynı anda 1 istek | saniyede yaklaşık 100 token |

Sabit fiyatlı bir planı ölçeklendirmek için oturum eklersiniz, paralel çalışan her ajan için bir tane; bkz. [sınırsız LLM API oturumları](https://broadrouter.com/tr/guides/unlimited-llm-api-sessions/) ve [paralel kodlama ajanları çalıştırma](https://broadrouter.com/tr/blog/run-parallel-coding-agents-flat-rate/). Bu hız, BroadNet’in DeepSeek V4.1 Flash için belirttiği tipik rakamdır; diğer modeller için veya yük altında garanti değildir.

## Sık sorulan sorular

### İşlem hacmi, saniyedeki token ile aynı şey mi?

Yalnızca sistem düzeyinde. Akış başına saniyedeki token, tek bir isteğin gördüğü hızdır. İşlem hacmi tüm akışları toplar. NVIDIA bunlara kullanıcı başına TPS ve sistem başına toplam TPS der.

### Bir LLM API'sinden nasıl daha fazla işlem hacmi alırım?

Eşzamanlılık ve hız sınırlarınıza kadar daha fazla isteği paralel çalıştırın ve her isteği kısa tutun. Her istek yuvasını zaten tam kullanıyorsa, artırmanın tek yolu daha fazla yuva, anahtar veya oturumdur.

### Daha yüksek işlem hacmi daha düşük gecikme demek mi?

Hayır. İşlem hacmi tüm isteklerde saniyedeki toplam iştir; gecikme ise tek bir isteğin ne kadar sürdüğüdür. Aynı anda daha fazla istek sunmak toplam işlem hacmini artırır ama her isteği yavaşlatabilir; NVIDIA'nın kullanıcı başına TPS ile toplam TPS'yi ayrı raporlamasının nedeni budur.

## Ayrıca bakın

-   [Saniyedeki token (tokens per second, TPS)](https://broadrouter.com/tr/glossary/tokens-per-second/) (terim)
-   [Eşzamanlılık (concurrency)](https://broadrouter.com/tr/glossary/concurrency/) (terim)
-   [Gecikme (latency)](https://broadrouter.com/tr/glossary/latency/) (terim)
-   [KV önbelleği (KV cache)](https://broadrouter.com/tr/glossary/kv-cache/) (terim)
-   [Batch API (toplu işlem API'si)](https://broadrouter.com/tr/glossary/batch-api/) (terim)
-   [Spekülatif çözümleme (speculative decoding)](https://broadrouter.com/tr/glossary/speculative-decoding/) (terim)
-   [Ajanlar için sınırsız LLM API planları nasıl çalışır?](https://broadrouter.com/tr/guides/unlimited-llm-api-sessions/) (rehber)
-   [BroadNet Inference hata kodları ve ne zaman yeniden denenmeli](https://broadrouter.com/tr/guides/errors-and-retries/) (rehber)
-   [Sabit fiyatlı LLM API ile paralel kodlama ajanları nasıl çalıştırılır?](https://broadrouter.com/tr/blog/run-parallel-coding-agents-flat-rate/) (yazı)
-   [LLM gecikmesi: TTFT, saniye başına token ve uçtan uca süre](https://broadrouter.com/tr/blog/llm-latency-ttft-throughput/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-throughput&utm_content=page-cta) ·

**Kaynaklar**

-   [NVIDIA NIM, LLM kıyaslama metrikleri (sistem başına toplam TPS, kullanıcı başına TPS, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon ve diğerleri, PagedAttention ve vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [BroadNet Inference API referansı, sınırlar (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-throughput&utm_content=sources#limits)
-   [BroadNet Inference planları (tipik hız, oturum başına tek istek) (İngilizce)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-throughput&utm_content=sources)
