Sinasabi ng tokens per second kung gaano kabilis mag-stream ang isang sagot. Sinasabi naman ng throughput kung gaano karami ang natatapos ng buong system.
Paano ito gumagana
Pinaghihiwalay ng benchmarking guide ng NVIDIA ang dalawa. Ang total TPS per system ay “total output token throughput across all simultaneous requests” (kabuuang output token throughput sa lahat ng sabay-sabay na request): lahat ng output token na hinati sa oras mula sa unang request hanggang sa huling response. Ang TPS per user ay ang haba ng output ng isang request na hinati sa end-to-end na oras nito. Binibilang naman ng requests per second (RPS) ang mga natapos na request sa halip na mga token.
Ang pangunahing linya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Salin ng BroadRouter: “Habang dumarami ang sabay-sabay na request, tumataas ang total system TPS habang bumababa ang TPS per user.”) Umaakyat ang total TPS hanggang ma-saturate ang GPU, at lampas doon, puwede itong bumaba.
Sa server, memory kadalasan ang limitasyon. Ipinapaliwanag ng PagedAttention paper na ang pagsisilbi sa mataas na throughput ay “requires batching sufficiently many requests at a time” (Salin ng BroadRouter: “nangangailangan ng pag-batch ng sapat na dami ng request nang sabay”), at ang KV cache ng bawat request ang nagpapasya kung ilan ang kasya. Dahil sa mas mahusay na memory management, naabot ng vLLM ang 2 hanggang 4 na beses na throughput ng mga naunang system sa parehong latency.
Bakit ito mahalaga
Para sa tumatawag sa API, ang throughput ay tungkol sa panig mo ng tubo: ilang dokumento ang kaya mong i-process kada oras, o ilang agent ang puwedeng sabay na magtrabaho. Sumusunod ito sa simpleng patakaran:
your throughput ≈ concurrent requests × per-stream tokens per second
Ibig sabihin, ang throughput mo ay humigit-kumulang sa bilang ng sabay-sabay na request na pinarami sa tokens per second ng bawat stream. Totoo lang ito habang pinananatili ng provider na matatag ang bilis kada stream habang dinadagdagan mo ang load. Sukatin ito; huwag ipagpalagay.
Nililimitahan ang throughput ng concurrency limit at mga rate limit mo, hindi lang ng model. Kung mabagal ang isang job, tingnan kung sunod-sunod na tumatakbo ang mga request kahit puwede namang parallel.
Sa BroadNet Inference
Naglalathala ang BroadNet ng mga limit kada key, hindi ng throughput figure ng system. Nagbibigay ang plans page nito ng karaniwang bilis na mga 100 token bawat segundo para sa DeepSeek V4.1 Flash, ang model ng plan; wala itong inilalathalang bilis para sa ibang model. Bilang ilustrasyon, kung ganoon ang bilis ng bawat stream:
| Opsyon | Parallel na request | Pinakamataas kung napanatili ang bilis |
|---|---|---|
| Pay-as-you-go key | 4 (at 30 request kada minuto) | 4 stream × mga 100 token bawat segundo bawat isa |
| Hourly key (Gemma 4 VL 26B) | 1 stream, 300,000 token kada minuto | hindi inilalathala; sukatin ito |
| Session ng flat plan | 1 request sa bawat pagkakataon | mga 100 token bawat segundo |
Para palakihin ang flat plan, nagdadagdag ka ng session, isa kada agent na sabay na nagtatrabaho; tingnan ang mga unlimited LLM API session at pagpapatakbo ng parallel na coding agent. Ang bilis na iyon ay ang sinasabing karaniwang figure ng BroadNet para sa DeepSeek V4.1 Flash, hindi garantiya para sa ibang model o kapag mabigat ang load.