एक चैट अनुरोध दो अलग काम करता है: प्रॉम्प्ट पढ़ना, फिर जवाब लिखना। इन्फ़रेंस इंजीनियर इन्हें prefill और decode कहते हैं, और GPU पर दोनों का बर्ताव बहुत अलग है।
यह कैसे काम करता है
- Prefill. मॉडल प्रॉम्प्ट का हर टोकन एक समानांतर pass में पढ़ता है और हर टोकन के attention keys और values KV cache में रखता है। अभी कुछ लौटाया नहीं जाता।
- Decode. मॉडल एक टोकन बनाता है, उसके keys और values cache में जोड़ता है, और तब तक दोहराता है जब तक रुक न जाए या
max_tokensतक न पहुँचे।
Sarathi-Serve पेपर यह फ़र्क़ साफ़ बताता है: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (अनुवाद: इनपुट प्रॉम्प्ट की समानांतर प्रोसेसिंग के कारण prefill iterations की latency ज़्यादा होती है, पर वे GPU compute को पूरा भर देती हैं), जबकि “decode iterations have low latency but also low compute utilization.” (अनुवाद: decode iterations की latency कम होती है, पर compute का उपयोग भी कम)।
दोनों चरण उन दो latency नंबरों से जुड़ते हैं जो यूज़र महसूस करते हैं। DistServe पेपर उनके नाम देता है: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (अनुवाद: prefill चरण के लिए पहले टोकन तक का समय (TTFT) और decoding चरण के लिए हर अनुरोध का प्रति आउटपुट टोकन समय (TPOT)।)
एक उदाहरण: 20,000 टोकन के प्रॉम्प्ट और 300 टोकन के जवाब वाला अनुरोध पहला स्ट्रीम हुआ टोकन आने से पहले पूरे 20,000 टोकन का prefill करता है, फिर 300 क्रमिक decode क़दम। प्रॉम्प्ट आधा करने से पहले टोकन का इंतज़ार घटता है; 300 टोकन कितनी तेज़ी से आते हैं, यह नहीं बदलता।
यह क्यों मायने रखता है
- पहले टोकन तक का समय प्रॉम्प्ट के साइज़ के साथ चलता है. लंबे system prompt, दस्तावेज़ और टूल की सूचियाँ, सब prefill का काम बढ़ाते हैं। Cached prefix इसका कुछ हिस्सा छोड़ देते हैं, इसीलिए cached input टोकन लंबे प्रॉम्प्ट को जल्दी शुरू करा सकते हैं।
- Tokens per second decode का नंबर है. आउटपुट की रफ़्तार इस पर निर्भर है कि हर decode क़दम कितनी जल्दी चलता है, जिसे speculative decoding बढ़ाने की कोशिश करता है।
- दोनों चरण एक-दूसरे में दख़ल देते हैं. जब सर्वर दोनों को एक ही GPU पर चलाता है, तो एक बड़ा prefill दूसरे यूज़र्स के decode रोक सकता है। DistServe “strong prefill-decoding interferences” (अनुवाद: prefill और decoding के बीच तेज़ दख़ल) बताता है और दोनों चरणों को अलग GPU पर ले जाता है। Sarathi-Serve इसके बजाय “splits a prefill request into near equal sized chunks” (अनुवाद: prefill अनुरोध को लगभग बराबर साइज़ के टुकड़ों में बाँटता है) और उन्हें “without pausing ongoing decodes” (अनुवाद: चल रहे decodes को रोके बिना) schedule करता है।
- इंजन यह सौदा आपके हाथ में देते हैं. vLLM की tuning गाइड कहती है कि chunked prefill उसे prefill के टुकड़ों को decode अनुरोधों के साथ batch करने देता है। छोटा
max_num_batched_tokensinter-token latency सुधारता है, जबकि बड़ा TTFT और थ्रूपुट के पक्ष में जाता है।
Latency, TTFT और थ्रूपुट गाइड दिखाती है कि client की तरफ़ से दोनों चरण कैसे मापें।
BroadNet Inference पर
BroadNet यह प्रकाशित नहीं करता कि उसके सर्वर prefill और decode को कैसे schedule करते हैं। आप असर देख सकते हैं: स्ट्रीमिंग गाइड की तरह जवाब स्ट्रीम करें, पहले content chunk तक का समय (ज़्यादातर prefill और queue) और उसके बाद chunks की दर (decode) लॉग करें। GLM 5.3, DeepSeek V4.1 Flash और Qwen3.8 27B पर रीज़निंग टोकन भी decode में बनते हैं, इसलिए वे दिखने वाले जवाब में देर करते हैं और max_tokens में गिने जाते हैं।
आम ग़लतियाँ
- धीमे पहले टोकन का दोष मॉडल की आउटपुट रफ़्तार को देना। पहले प्रॉम्प्ट की लंबाई जाँचें।
- बहुत छोटे प्रॉम्प्ट से बेंचमार्क करना। लंबे कॉन्टेक्स्ट वाले असली प्रॉम्प्ट का prefill कहीं लंबा होता है।