BroadRouter

पहले टोकन तक का समय (TTFT, time to first token)

अपडेट किया गया

Time to first token (TTFT) वह समय है जो लैंग्वेज मॉडल को अनुरोध भेजने से पहला आउटपुट टोकन आने तक लगता है। इसमें नेटवर्क का समय, सर्वर पर कतार और prefill शामिल हैं, यानी वह चरण जिसमें मॉडल पूरा प्रॉम्प्ट पढ़ता है, इसलिए यह प्रॉम्प्ट की लंबाई और लोड के साथ बढ़ता है।

अन्य नाम: TTFT, पहले टोकन तक का समय, फ़र्स्ट टोकन लेटेंसी, TTFT kya hai, time to first token kya hai, time to first token, first-token latency, time to first content token, first token time

TTFT कुछ भी होने से पहले का ठहराव है। चैट विंडो में यह ख़ाली स्क्रीन है; वॉइस बॉट में यह सन्नाटा है।

यह कैसे काम करता है

NVIDIA की बेंचमार्किंग गाइड TTFT को तीन हिस्सों में बाँटती है: “request queuing time, prefill time, and network latency” (अनुवाद: अनुरोध के कतार में रहने का समय, prefill का समय और नेटवर्क लेटेंसी)। हर हिस्से का अपना कारण है:

हिस्सा इसे क्या बढ़ाता है आप क्या बदल सकते हैं
नेटवर्क दूरी, TLS सेटअप, प्रॉक्सी कनेक्शन दोबारा इस्तेमाल करें; नज़दीकी रीजन से कॉल करें
कतार सर्वर कितना व्यस्त है कम भीड़ वाले समय पर चलाएँ, कम लोड वाला मॉडल या टियर चुनें
Prefill प्रॉम्प्ट की लंबाई, मॉडल का आकार छोटे प्रॉम्प्ट, स्थिर और कैश होने लायक प्रीफ़िक्स

लंबे इनपुट के लिए आम तौर पर prefill सबसे बड़ा हिस्सा होता है। पहला टोकन बनाने से पहले मॉडल पूरा प्रॉम्प्ट हर लेयर से गुज़ारकर KV cache बनाता है। NVIDIA बताता है कि व्यस्त सर्वर पर एक अनुरोध का prefill दूसरे के जनरेशन के साथ चल सकता है, इसलिए TTFT दूसरों के ट्रैफ़िक के साथ भी बदलता है।

आँकड़े पढ़ते समय दो परिभाषाएँ मायने रखती हैं। NVIDIA का AIPerf पहले टोकन को तभी गिनता है जब उसमें कंटेंट हो। Responses API में स्ट्रीमिंग टेक्स्ट के लिए OpenAI की गाइड TTFT को “until you receive the first nonempty response.output_text.delta” (अनुवाद: जब तक आपको पहला ग़ैर-ख़ाली response.output_text.delta न मिले) मापती है। रीज़निंग टोकन के साथ पहला दिखने वाला शब्द पहले बने टोकन से काफ़ी बाद आ सकता है, इसलिए बताएँ कि आपका मतलब किससे है।

यह क्यों मायने रखता है

प्रोडक्ट कितना तेज़ लगता है, यह कच्ची रफ़्तार से ज़्यादा TTFT तय करता है। OpenAI की गाइड कहती है कि “a long prompt can delay the first token, especially when much of the input is new” (अनुवाद: लंबा प्रॉम्प्ट पहले टोकन में देरी कर सकता है, ख़ासकर जब इनपुट का बड़ा हिस्सा नया हो)। यहीं कैश्ड इनपुट टोकन मदद करते हैं। वही गाइड कहती है कि prompt caching “can reuse an eligible exact prefix match” (अनुवाद: योग्य, हूबहू मेल खाने वाले प्रीफ़िक्स को दोबारा इस्तेमाल कर सकती है) और सुझाती है कि कैश हिट के साथ और बिना TTFT की तुलना करें। कैश हुआ प्रीफ़िक्स prefill का कुछ हिस्सा छोड़ देता है, इसलिए दोहराया गया सिस्टम प्रॉम्प्ट सस्ता पड़ता है और जल्दी शुरू हो सकता है।

एजेंट के लिए TTFT हर क़दम पर चुकाना पड़ता है। दो सेकंड के TTFT वाली बीस टूल कॉल, कोई आउटपुट गिनने से पहले ही चालीस सेकंड का इंतज़ार जोड़ देती हैं।

TTFT, एंड-टू-एंड लेटेंसी का एक हिस्सा है। बाक़ी जनरेशन टाइम है, जो टोकन प्रति सेकंड से तय होता है।

BroadNet Inference पर

BroadNet के डॉक्स Server-Sent Events वाली स्ट्रीमिंग बताते हैं, जो data: [DONE] पर ख़त्म होती है; क्लाइंट पर पहला टोकन आप इसी से देखते हैं। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले रीज़निंग करते हैं, इसलिए पहले दिखने वाले टेक्स्ट तक के समय में सोचने का समय भी शामिल है। BroadNet कोई TTFT आँकड़ा प्रकाशित नहीं करता। टाइमिंग स्क्रिप्ट और p50/p95 रिपोर्टिंग के लिए LLM लेटेंसी: TTFT बनाम टोकन प्रति सेकंड देखें।

अक्सर पूछे जाने वाले सवाल

लंबे प्रॉम्प्ट के साथ TTFT धीमा क्यों होता है?

कुछ भी लिखने से पहले मॉडल को प्रॉम्प्ट का हर टोकन पढ़कर अपना KV cache बनाना होता है। NVIDIA की मेट्रिक गाइड कहती है कि लंबे प्रॉम्प्ट ठीक इसी वजह से TTFT बढ़ाते हैं।

क्या स्ट्रीमिंग से पहले टोकन तक का समय घटता है?

नहीं। स्ट्रीमिंग से पहला टोकन बनते ही आपको दिख जाता है; इसके बिना आप पूरे जवाब का इंतज़ार करते हैं। उस टोकन से पहले सर्वर का काम दोनों तरह से एक जैसा है।

क्या ख़ाली पहला चंक भी पहला टोकन गिना जाता है?

ज़्यादातर बेंचमार्क में नहीं। NVIDIA का AIPerf बिना कंटेंट वाले शुरुआती रिस्पॉन्स को अनदेखा करता है, और OpenAI पहले ग़ैर-ख़ाली टेक्स्ट delta तक का समय TTFT मानता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें