BroadRouter

Tokens per second (TPS)

Na-update

Ang tokens per second (TPS) ay ang bilis ng pagbuo ng language model ng mga output token, kadalasang sinusukat para sa isang request pagkatapos dumating ang unang token. Ito ang bilis ng pag-stream ng sagot kapag nagsimula na. Kapag pinagsama sa lahat ng sabay na request, nagiging throughput ito ng system; hiwalay na sinusukat ang paghihintay bago ang unang token.

Tinatawag ding: bilis ng LLM, bilis ng output, TPS, tok/s, output speed, generation speed

Dalawa ang bahagi ng bilis: gaano katagal bago may lumabas, at gaano kabilis dumaloy ang text pagkatapos noon. Ang ikalawang bahagi ang sinusukat ng tokens per second.

Paano ito gumagana

Dine-define ng benchmarking docs ng NVIDIA ang mga kaugnay na metric:

  • Time to first token (TTFT): mula pagpapadala ng request hanggang matanggap ang unang token. Humahaba ito habang humahaba ang prompt.
  • Inter-token latency (ITL): ang average na pagitan ng mga output token.
  • Per-user TPS: mga output token ng isang request na hinati sa end-to-end na oras nito, kaya sa definition ng NVIDIA, kasama rito ang TTFT. Maraming dashboard naman ang nagbibigay ng decode speed pagkatapos ng unang token, gaya ng ginagawa ng pahinang ito.
  • System TPS: kabuuang output token sa lahat ng sabay-sabay na request, tinatawag ding throughput.

Magkasalungat ang hila nila. Ayon sa NVIDIA, habang tumataas ang concurrency, tumataas ang system TPS habang bumababa ang per-user TPS. Puwedeng parehong tapat ang numero sa marketing ng isang provider at ang bilis ng iisa mong request, pero magkaiba pa rin.

Mabilis na tantiya para sa isang sagot:

total time ≈ TTFT + output tokens ÷ tokens per second

Ibig sabihin, ang kabuuang oras ay humigit-kumulang TTFT dagdag ang output token na hinati sa tokens per second. Halimbawa, isang stream na 50 token kada segundo: mga 20 segundo ang 1,000-token na sagot pagkatapos ng unang token. Kung sumusulat din ang model ng 2,000 reasoning token, magdagdag ng mga 40 segundo bago magsimula ang sagot. Dagdag pa rito ang time to first token.

Bakit ito mahalaga

  • Karanasan ng user. Ipinapakita ng streaming ang text habang dumarating, kaya TTFT at TPS ang nagpapasya kung gaano kabilis ang pakiramdam ng sagot.
  • Throughput ng agent. Hinihintay ng isang coding agent ang bawat sagot bago ang susunod na hakbang. Mas mabilis na output, mas maraming hakbang kada oras.
  • Mga limit ng plan. Sa plan na walang token meter, bilis ang nagiging tunay na kisame sa dami ng token na magagamit mo.

Sa BroadNet Inference

Nagbibigay ang plans page ng BroadNet ng karaniwang bilis na mga 100 token bawat segundo para sa DeepSeek V4.1 Flash. Isang request sa bawat pagkakataon ang pinapatakbo ng session sa mga unlimited plan, kaya sa bilis na iyon, ang session na tuloy-tuloy na bumubuo nang 30 araw ay makakagawa ng mga 259 milyon output token. Ang totoong mga agent ay gumugugol ng oras sa pagbasa, pagpapatakbo ng mga tool at paghihintay, kaya mas mababa ang praktikal na figure.

Para makakuha ng mas mataas na kabuuang throughput sa isang plan, magdagdag ng session: isa kada agent na sabay na nagtatrabaho. Tingnan ang paano gumagana ang mga unlimited session at pagpapatakbo ng parallel na coding agent.

Mga karaniwang pagkakamali

  • Pagkumpara ng mga provider batay sa iisang request. Sukatin ang TTFT at TPS sa maraming request, gamit ang sarili mong laki ng prompt.
  • Paglimot sa oras ng reasoning kapag nagse-set ng client timeout.

Mga tanong

Ano ang magandang bilang ng tokens per second?

Depende sa gamit. Mabilis ang pakiramdam ng chat reply kapag mas mabilis lumabas ang text kaysa sa pagbasa ng tao. Mas mahalaga sa mga agent at batch job ang kabuuang oras kada task at kung ilang request ang sabay na tumatakbo.

Kasama ba ang prompt sa tokens per second?

Kadalasan hindi. Output token ang binibilang ng generation speed. Lumalabas naman ang pagbasa sa prompt bilang time to first token, na humahaba habang humahaba ang prompt.

Pinababagal ba ng reasoning token ang sagot?

Oo. Nabubuo ang mga ito sa parehong bilis ng nakikitang output, kaya ang model na nag-iisip nang 2,000 token ay maaantala ang sagot nang kasingtagal ng pagbuo sa mga token na iyon.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity