بڑا ماڈل ہر forward pass میں ایک ٹوکن لکھتا ہے۔ اسپیکیولیٹو ڈیکوڈنگ اسے ہر pass میں کئی ٹوکنز پکے کرنے دیتی ہے۔
یہ کیسے کام کرتی ہے
Leviathan et al. ایک سیدھی حقیقت سے شروع کرتے ہیں: “decoding K tokens takes K serial runs of the model.” (ترجمہ: K ٹوکنز ڈیکوڈ کرنے میں ماڈل کے K سلسلہ وار رنز لگتے ہیں۔) ان کا حل CPU کے speculative execution سے لیا گیا ہے:
- ایک ڈرافٹ ماڈل، جو کہیں چھوٹا اور تیز ہے، اگلے چند ٹوکنز کا اندازہ لگاتا ہے۔
- ٹارگٹ ماڈل ان سب اندازوں کو ایک ہی forward pass میں اسکور کرتا ہے۔ جیسا کہ Chen et al. بتاتے ہیں، ٹوکنز کی چھوٹی لڑی کو اسکور کرنے کی لاگت تقریباً ایک ٹوکن بنانے جتنی ہوتی ہے۔
- ترمیم شدہ rejection-sampling مرحلہ اندازوں کی وہ سب سے لمبی لڑی رکھتا ہے جس سے ٹارگٹ ماڈل متفق ہو، پھر اپنا ایک ٹوکن سیمپل کرتا ہے۔
- نئی جگہ سے دہرائیں۔
جب ڈرافٹ اکثر درست ہو تو ہر مہنگا pass کئی ٹوکنز دیتا ہے۔ جب غلط ہو تو نقصان کم ہوتا ہے: ٹارگٹ ماڈل پھر بھی کم از کم ایک ٹوکن بناتا ہے۔ Hugging Face کی گائیڈ مزید کہتی ہے کہ یہ طریقہ تب بہترین چلتا ہے جب ڈرافٹ ماڈل “significantly smaller” (ترجمہ: نمایاں طور پر چھوٹا) ہو اور وہی tokenizer استعمال کرے۔
کچھ قسمیں الگ ڈرافٹ ماڈل ختم کر دیتی ہیں۔ وہی گائیڈ multi-token prediction (MTP) لیئرز بیان کرتی ہے، جن میں مرکزی چیک پوائنٹ کے اضافی heads امیدوار ٹوکنز ڈرافٹ کرتے ہیں۔ DeepSeek V4.1 Flash کا ماڈل کارڈ اپنی آرکیٹیکچر کے حصے کے طور پر اپنی اسکیم، “DSpark speculative decoding”، درج کرتا ہے۔
یہ کیوں اہم ہے
API کال کرنے والے کے لیے اسپیکیولیٹو ڈیکوڈنگ فی درخواست زیادہ ٹوکن فی سیکنڈ کی صورت میں نظر آتی ہے، جس سے لمبے جوابات کی کل لیٹنسی کم ہوتی ہے۔ یہ پہلے ٹوکن تک کا وقت کم نہیں کرتی، جس پر پرامپٹ پڑھنے کا وقت حاوی ہوتا ہے۔
فائدہ یکساں نہیں ہوتا۔ کوڈ ایڈٹس، JSON اور بوائلر پلیٹ جیسا قابلِ پیش گوئی متن ڈرافٹ کرنا آسان ہے۔ تخلیقی، اونچے temperature والا متن مشکل ہے، اس لیے کم اندازے بچتے ہیں۔ بھاری لوڈ میں اضافی تصدیقی کام دوسری درخواستوں سے مقابلہ کرتا ہے، اس لیے فراہم کنندہ اسے فی صارف رفتار یا کل تھرو پٹ کے لیے ٹیون کر سکتا ہے۔
یہ سرور کی طرف کا فیصلہ بھی ہے۔ آپ اسے عام chat completions درخواست سے آن نہیں کر سکتے۔
BroadNet Inference پر
BroadNet کا API ریفرنس اسپیکیولیٹو ڈیکوڈنگ کا ذکر نہیں کرتا۔ اس کا ماڈل کیٹلاگ پروڈکشن Gemma 4 26B A4B بلڈ کو، جو API پر BroadNet Gemma 4 VL 26B کے طور پر دستیاب ہے، MTP (k=2) کے ساتھ چلتا ہوا بتاتا ہے، اور کیٹلاگ اسے اسپیکیولیٹو ڈیکوڈنگ کی ایک شکل کہتا ہے۔ BroadNet کا ماڈل پیج اس بلڈ کو ایک اسٹریم پر تقریباً 136 ٹوکن فی سیکنڈ پر رکھتا ہے۔ کیٹلاگ یہ بھی بتاتا ہے کہ 32 بیک وقت درخواستوں پر EAGLE3 نے تھرو پٹ 69% گھٹا دیا، اسی لیے BroadNet نے MTP ڈرافٹرز رکھے، اور BroadNet نے Uno نامی self-drafting adapter پر دو مطالعے شائع کیے ہیں: vLLM میں Uno اور Gemma 4 26B پر Uno۔ اپنے مقررہ قیمت والے پلانز کے لیے، جو DeepSeek V4.1 Flash چلاتے ہیں، BroadNet کا پلانز پیج تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے۔ اپنی آؤٹ پٹ رفتار اسٹریمنگ سے ناپیں؛ LLM لیٹنسی گائیڈ طریقہ دکھاتی ہے۔