Ang TTFT ang paghinto bago may mangyari. Sa chat window, ito ang blangkong screen; sa voice bot, ito ang katahimikan.
Paano ito gumagana
Hinahati ng benchmarking guide ng NVIDIA ang TTFT sa tatlong bahagi: “request queuing time, prefill time, and network latency.” (Salin ng BroadRouter: “oras ng request sa pila, prefill time at network latency.”) Kanya-kanya ang sanhi ng bawat isa:
| Bahagi | Ano ang nagtutulak dito | Ano ang puwede mong baguhin |
|---|---|---|
| Network | Layo, TLS setup, mga proxy | I-reuse ang mga connection; tumawag mula sa malapit na region |
| Pila | Gaano kaabala ang server | Off-peak na oras, model o tier na hindi gaanong abala |
| Prefill | Haba ng prompt, laki ng model | Mas maiikling prompt, stable na prefix na puwedeng i-cache |
Kadalasang prefill ang pinakamalaki para sa mahahabang input. Pinapadaan ng model ang buong prompt sa bawat layer para buuin ang KV cache bago nito mailabas ang unang token. Ayon sa NVIDIA, sa abalang server, puwedeng magsabay ang prefill ng isang request at ang generation ng iba, kaya gumagalaw din ang TTFT depende sa traffic ng ibang tao.
Dalawang depinisyon ang mahalaga kapag nagbabasa ka ng mga numero. Binibilang lang ng AIPerf ng NVIDIA ang unang token kung may laman ito. Para sa streaming text sa Responses API, sinusukat naman ng gabay ng OpenAI ang TTFT “until you receive the first nonempty response.output_text.delta” (Salin ng BroadRouter: “hanggang matanggap mo ang unang may lamang response.output_text.delta”). Sa reasoning tokens, puwedeng mas huli nang malaki ang unang nakikitang salita kaysa sa unang nabuong token, kaya linawin kung alin ang tinutukoy mo.
Bakit ito mahalaga
Ang TTFT ang nagtatakda kung gaano kabilis ang pakiramdam ng isang produkto, higit pa sa raw na bilis. Sabi ng gabay ng OpenAI: “a long prompt can delay the first token, especially when much of the input is new” (Salin ng BroadRouter: “puwedeng maantala ng mahabang prompt ang unang token, lalo na kung bago ang malaking bahagi ng input”). Dito nakakatulong ang cached input tokens. Sabi ng parehong gabay, ang prompt caching ay “can reuse an eligible exact prefix match” (Salin ng BroadRouter: “puwedeng muling gamitin ang eligible na exact prefix match”), at iminumungkahi nitong ihambing ang TTFT nang may cache hit at wala. Nilalaktawan ng naka-cache na prefix ang bahagi ng prefill, kaya mas mura at puwedeng mas mabilis magsimula ang paulit-ulit na system prompt.
Sa mga agent, binabayaran ang TTFT sa bawat hakbang. Dalawampung tool call na may dalawang segundong TTFT ay dagdag na apatnapung segundong paghihintay bago pa mabilang ang anumang output.
Isang bahagi lang ang TTFT ng end-to-end na latency. Ang natitira ay generation time, na itinatakda ng tokens per second.
Sa BroadNet Inference
Inilalarawan ng docs ng BroadNet ang streaming gamit ang Server-Sent Events, na nagtatapos sa data: [DONE]; ganito mo makikita sa client ang unang token. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, kaya kasama ang pag-iisip sa oras bago lumabas ang unang nakikitang text. Walang inilalathalang TTFT figure ang BroadNet. Para sa timing script at p50/p95 na pag-uulat, tingnan ang LLM latency: TTFT vs tokens per second.