Dalawa ang bahagi ng bilis: gaano katagal bago may lumabas, at gaano kabilis dumaloy ang text pagkatapos noon. Ang ikalawang bahagi ang sinusukat ng tokens per second.
Paano ito gumagana
Dine-define ng benchmarking docs ng NVIDIA ang mga kaugnay na metric:
- Time to first token (TTFT): mula pagpapadala ng request hanggang matanggap ang unang token. Humahaba ito habang humahaba ang prompt.
- Inter-token latency (ITL): ang average na pagitan ng mga output token.
- Per-user TPS: mga output token ng isang request na hinati sa end-to-end na oras nito, kaya sa definition ng NVIDIA, kasama rito ang TTFT. Maraming dashboard naman ang nagbibigay ng decode speed pagkatapos ng unang token, gaya ng ginagawa ng pahinang ito.
- System TPS: kabuuang output token sa lahat ng sabay-sabay na request, tinatawag ding throughput.
Magkasalungat ang hila nila. Ayon sa NVIDIA, habang tumataas ang concurrency, tumataas ang system TPS habang bumababa ang per-user TPS. Puwedeng parehong tapat ang numero sa marketing ng isang provider at ang bilis ng iisa mong request, pero magkaiba pa rin.
Mabilis na tantiya para sa isang sagot:
total time ≈ TTFT + output tokens ÷ tokens per second
Ibig sabihin, ang kabuuang oras ay humigit-kumulang TTFT dagdag ang output token na hinati sa tokens per second. Halimbawa, isang stream na 50 token kada segundo: mga 20 segundo ang 1,000-token na sagot pagkatapos ng unang token. Kung sumusulat din ang model ng 2,000 reasoning token, magdagdag ng mga 40 segundo bago magsimula ang sagot. Dagdag pa rito ang time to first token.
Bakit ito mahalaga
- Karanasan ng user. Ipinapakita ng streaming ang text habang dumarating, kaya TTFT at TPS ang nagpapasya kung gaano kabilis ang pakiramdam ng sagot.
- Throughput ng agent. Hinihintay ng isang coding agent ang bawat sagot bago ang susunod na hakbang. Mas mabilis na output, mas maraming hakbang kada oras.
- Mga limit ng plan. Sa plan na walang token meter, bilis ang nagiging tunay na kisame sa dami ng token na magagamit mo.
Sa BroadNet Inference
Nagbibigay ang plans page ng BroadNet ng karaniwang bilis na mga 100 token bawat segundo para sa DeepSeek V4.1 Flash. Isang request sa bawat pagkakataon ang pinapatakbo ng session sa mga unlimited plan, kaya sa bilis na iyon, ang session na tuloy-tuloy na bumubuo nang 30 araw ay makakagawa ng mga 259 milyon output token. Ang totoong mga agent ay gumugugol ng oras sa pagbasa, pagpapatakbo ng mga tool at paghihintay, kaya mas mababa ang praktikal na figure.
Para makakuha ng mas mataas na kabuuang throughput sa isang plan, magdagdag ng session: isa kada agent na sabay na nagtatrabaho. Tingnan ang paano gumagana ang mga unlimited session at pagpapatakbo ng parallel na coding agent.
Mga karaniwang pagkakamali
- Pagkumpara ng mga provider batay sa iisang request. Sukatin ang TTFT at TPS sa maraming request, gamit ang sarili mong laki ng prompt.
- Paglimot sa oras ng reasoning kapag nagse-set ng client timeout.