BroadRouter
Magsimula

Throughput

Na-update

Ang throughput, sa LLM serving, ay ang kabuuang trabahong natatapos ng isang system kada yunit ng oras sa lahat ng sabay-sabay na request, kadalasang sinusukat bilang output tokens per second o requests per second. Iba ito sa bilis kada stream, na kung gaano kabilis natatanggap ng iisang request ang mga token nito.

Tinatawag ding: throughput ng LLM, kabuuang bilis ng system, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Sinasabi ng tokens per second kung gaano kabilis mag-stream ang isang sagot. Sinasabi naman ng throughput kung gaano karami ang natatapos ng buong system.

Paano ito gumagana

Pinaghihiwalay ng benchmarking guide ng NVIDIA ang dalawa. Ang total TPS per system ay “total output token throughput across all simultaneous requests” (kabuuang output token throughput sa lahat ng sabay-sabay na request): lahat ng output token na hinati sa oras mula sa unang request hanggang sa huling response. Ang TPS per user ay ang haba ng output ng isang request na hinati sa end-to-end na oras nito. Binibilang naman ng requests per second (RPS) ang mga natapos na request sa halip na mga token.

Ang pangunahing linya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Salin ng BroadRouter: “Habang dumarami ang sabay-sabay na request, tumataas ang total system TPS habang bumababa ang TPS per user.”) Umaakyat ang total TPS hanggang ma-saturate ang GPU, at lampas doon, puwede itong bumaba.

Sa server, memory kadalasan ang limitasyon. Ipinapaliwanag ng PagedAttention paper na ang pagsisilbi sa mataas na throughput ay “requires batching sufficiently many requests at a time” (Salin ng BroadRouter: “nangangailangan ng pag-batch ng sapat na dami ng request nang sabay”), at ang KV cache ng bawat request ang nagpapasya kung ilan ang kasya. Dahil sa mas mahusay na memory management, naabot ng vLLM ang 2 hanggang 4 na beses na throughput ng mga naunang system sa parehong latency.

Bakit ito mahalaga

Para sa tumatawag sa API, ang throughput ay tungkol sa panig mo ng tubo: ilang dokumento ang kaya mong i-process kada oras, o ilang agent ang puwedeng sabay na magtrabaho. Sumusunod ito sa simpleng patakaran:

your throughput ≈ concurrent requests × per-stream tokens per second

Ibig sabihin, ang throughput mo ay humigit-kumulang sa bilang ng sabay-sabay na request na pinarami sa tokens per second ng bawat stream. Totoo lang ito habang pinananatili ng provider na matatag ang bilis kada stream habang dinadagdagan mo ang load. Sukatin ito; huwag ipagpalagay.

Nililimitahan ang throughput ng concurrency limit at mga rate limit mo, hindi lang ng model. Kung mabagal ang isang job, tingnan kung sunod-sunod na tumatakbo ang mga request kahit puwede namang parallel.

Sa BroadNet Inference

Naglalathala ang BroadNet ng mga limit kada key, hindi ng throughput figure ng system. Nagbibigay ang plans page nito ng karaniwang bilis na mga 100 token bawat segundo para sa DeepSeek V4.1 Flash, ang model ng plan; wala itong inilalathalang bilis para sa ibang model. Bilang ilustrasyon, kung ganoon ang bilis ng bawat stream:

Opsyon Parallel na request Pinakamataas kung napanatili ang bilis
Pay-as-you-go key 4 (at 30 request kada minuto) 4 stream × mga 100 token bawat segundo bawat isa
Hourly key (Gemma 4 VL 26B) 1 stream, 300,000 token kada minuto hindi inilalathala; sukatin ito
Session ng flat plan 1 request sa bawat pagkakataon mga 100 token bawat segundo

Para palakihin ang flat plan, nagdadagdag ka ng session, isa kada agent na sabay na nagtatrabaho; tingnan ang mga unlimited LLM API session at pagpapatakbo ng parallel na coding agent. Ang bilis na iyon ay ang sinasabing karaniwang figure ng BroadNet para sa DeepSeek V4.1 Flash, hindi garantiya para sa ibang model o kapag mabigat ang load.

Mga tanong

Pareho ba ang throughput at tokens per second?

Sa antas ng system lang. Ang tokens per second kada stream ay ang bilis na nararanasan ng isang request. Pinagsasama-sama ng throughput ang lahat ng stream. Tinatawag ito ng NVIDIA na TPS per user at total TPS per system.

Paano ako makakakuha ng mas mataas na throughput mula sa LLM API?

Magpatakbo ng mas maraming request nang parallel, hanggang sa concurrency at rate limit mo, at panatilihing maikli ang bawat request. Kung buong-buo nang nagagamit ng bawat request ang slot nito, mas maraming slot, key o session na lang ang paraan para tumaas.

Ibig bang sabihin ng mas mataas na throughput ay mas mababang latency?

Hindi. Ang throughput ay kabuuang trabaho kada segundo sa lahat ng request; ang latency ay kung gaano katagal ang isang request. Tumataas ang kabuuang throughput kapag mas maraming request ang sabay na pinagsisilbihan, pero puwedeng bumagal ang bawat request, kaya hiwalay na iniuulat ng NVIDIA ang TPS per user at total TPS.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity