ایک چیٹ درخواست دو الگ کام کرتی ہے: پرامپٹ پڑھنا، پھر جواب لکھنا۔ انفرنس انجینئرز انہیں prefill اور decode کہتے ہیں، اور GPU پر دونوں کا رویہ بہت مختلف ہے۔
یہ کیسے کام کرتا ہے
- Prefill۔ ماڈل پرامپٹ کا ہر ٹوکن ایک متوازی pass میں پڑھتا ہے اور ہر ٹوکن کے attention keys اور values کو KV cache میں رکھتا ہے۔ ابھی کچھ واپس نہیں ہوتا۔
- Decode۔ ماڈل ایک ٹوکن بناتا ہے، اس کے keys اور values کو cache میں جوڑتا ہے، اور تب تک دہراتا ہے جب تک رک نہ جائے یا
max_tokensتک نہ پہنچے۔
Sarathi-Serve مقالہ یہ فرق صاف بیان کرتا ہے: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (ترجمہ: ان پٹ پرامپٹ کی متوازی پروسیسنگ کی وجہ سے prefill iterations کی latency زیادہ ہوتی ہے لیکن وہ GPU compute کو پوری طرح بھر دیتی ہیں)، جبکہ “decode iterations have low latency but also low compute utilization.” (ترجمہ: decode iterations کی latency کم ہوتی ہے لیکن compute کا استعمال بھی کم)۔
دونوں مراحل ان دو latency نمبروں سے جڑتے ہیں جو صارفین محسوس کرتے ہیں۔ DistServe مقالہ ان کے نام دیتا ہے: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (ترجمہ: prefill مرحلے کے لیے پہلے ٹوکن تک کا وقت (TTFT) اور decoding مرحلے کے لیے ہر درخواست کا فی آؤٹ پٹ ٹوکن وقت (TPOT)۔)
ایک مثال: 20,000 ٹوکن کے پرامپٹ اور 300 ٹوکن کے جواب والی درخواست پہلا اسٹریم شدہ ٹوکن آنے سے پہلے پورے 20,000 ٹوکن کا prefill کرتی ہے، پھر 300 ترتیب وار decode قدم۔ پرامپٹ آدھا کرنے سے پہلے ٹوکن کا انتظار کم ہوتا ہے؛ 300 ٹوکن کتنی تیزی سے آتے ہیں، یہ نہیں بدلتا۔
یہ کیوں اہم ہے
- پہلے ٹوکن تک کا وقت پرامپٹ کے سائز کے ساتھ چلتا ہے۔ لمبے system prompts، دستاویزات اور ٹولز کی فہرستیں، سب prefill کا کام بڑھاتے ہیں۔ Cached prefixes اس کا کچھ حصہ چھوڑ دیتے ہیں، اسی لیے کیش شدہ ان پٹ ٹوکن لمبے پرامپٹس کو جلد شروع کرا سکتے ہیں۔
- Tokens per second ایک decode نمبر ہے۔ آؤٹ پٹ کی رفتار اس پر منحصر ہے کہ ہر decode قدم کتنی جلدی چلتا ہے، جسے speculative decoding بڑھانے کی کوشش کرتا ہے۔
- دونوں مراحل ایک دوسرے میں مداخلت کرتے ہیں۔ جب سرور دونوں کو ایک ہی GPU پر چلاتا ہے تو ایک بڑا prefill دوسرے صارفین کے decodes روک سکتا ہے۔ DistServe “strong prefill-decoding interferences” (ترجمہ: prefill اور decoding کے درمیان شدید مداخلت) بتاتا ہے اور دونوں مراحل کو الگ GPUs پر منتقل کرتا ہے۔ Sarathi-Serve اس کے بجائے “splits a prefill request into near equal sized chunks” (ترجمہ: prefill درخواست کو تقریباً برابر سائز کے ٹکڑوں میں بانٹتا ہے) اور انہیں “without pausing ongoing decodes” (ترجمہ: جاری decodes روکے بغیر) schedule کرتا ہے۔
- انجن یہ سودا آپ کے ہاتھ میں دیتے ہیں۔ vLLM کی tuning گائیڈ کہتی ہے کہ chunked prefill اسے prefill کے ٹکڑوں کو decode درخواستوں کے ساتھ batch کرنے دیتا ہے۔ چھوٹا
max_num_batched_tokensinter-token latency بہتر کرتا ہے، جبکہ بڑا TTFT اور throughput کے حق میں جاتا ہے۔
Latency، TTFT اور throughput گائیڈ دکھاتی ہے کہ کلائنٹ کی طرف سے دونوں مراحل کیسے ناپیں۔
BroadNet Inference پر
BroadNet یہ شائع نہیں کرتا کہ اس کے سرورز prefill اور decode کو کیسے schedule کرتے ہیں۔ آپ اثر دیکھ سکتے ہیں: اسٹریمنگ گائیڈ کی طرح جواب اسٹریم کریں، پہلے content chunk تک کا وقت (زیادہ تر prefill اور قطار) اور اس کے بعد chunks کی شرح (decode) لاگ کریں۔ GLM 5.3، DeepSeek V4.1 Flash اور Qwen3.8 27B پر ریزننگ ٹوکن بھی decode میں بنتے ہیں، اس لیے وہ نظر آنے والے جواب میں تاخیر کرتے ہیں اور max_tokens میں شمار ہوتے ہیں۔
عام غلطیاں
- سست پہلے ٹوکن کا الزام ماڈل کی آؤٹ پٹ رفتار کو دینا۔ پہلے پرامپٹ کی لمبائی دیکھیں۔
- بہت چھوٹے پرامپٹ سے بینچ مارک کرنا۔ لمبے کانٹیکسٹ والے حقیقی پرامپٹس کا prefill کہیں لمبا ہوتا ہے۔