BroadRouter
شروع کریں

اسپیکیولیٹو ڈیکوڈنگ (speculative decoding)

اپ ڈیٹ

اسپیکیولیٹو ڈیکوڈنگ ایک انفرنس تکنیک ہے جس میں چھوٹا، تیز ڈرافٹ ماڈل اگلے کئی ٹوکنز تجویز کرتا ہے اور بڑا ٹارگٹ ماڈل انہیں ایک ہی forward pass میں جانچ کر قبول شدہ ٹوکنز رکھتا ہے۔ یہ آؤٹ پٹ کی ڈسٹری بیوشن بدلے بغیر جنریشن تیز کرتی ہے۔

دوسرے نام: اسپیکیولیٹو ڈیکوڈنگ، اسپیکیولیٹو سیمپلنگ، ڈرافٹ ماڈل، speculative decoding kya hai، speculative sampling، assisted generation، assisted decoding، draft model decoding

بڑا ماڈل ہر forward pass میں ایک ٹوکن لکھتا ہے۔ اسپیکیولیٹو ڈیکوڈنگ اسے ہر pass میں کئی ٹوکنز پکے کرنے دیتی ہے۔

یہ کیسے کام کرتی ہے

Leviathan et al. ایک سیدھی حقیقت سے شروع کرتے ہیں: “decoding K tokens takes K serial runs of the model.” (ترجمہ: K ٹوکنز ڈیکوڈ کرنے میں ماڈل کے K سلسلہ وار رنز لگتے ہیں۔) ان کا حل CPU کے speculative execution سے لیا گیا ہے:

  1. ایک ڈرافٹ ماڈل، جو کہیں چھوٹا اور تیز ہے، اگلے چند ٹوکنز کا اندازہ لگاتا ہے۔
  2. ٹارگٹ ماڈل ان سب اندازوں کو ایک ہی forward pass میں اسکور کرتا ہے۔ جیسا کہ Chen et al. بتاتے ہیں، ٹوکنز کی چھوٹی لڑی کو اسکور کرنے کی لاگت تقریباً ایک ٹوکن بنانے جتنی ہوتی ہے۔
  3. ترمیم شدہ rejection-sampling مرحلہ اندازوں کی وہ سب سے لمبی لڑی رکھتا ہے جس سے ٹارگٹ ماڈل متفق ہو، پھر اپنا ایک ٹوکن سیمپل کرتا ہے۔
  4. نئی جگہ سے دہرائیں۔

جب ڈرافٹ اکثر درست ہو تو ہر مہنگا pass کئی ٹوکنز دیتا ہے۔ جب غلط ہو تو نقصان کم ہوتا ہے: ٹارگٹ ماڈل پھر بھی کم از کم ایک ٹوکن بناتا ہے۔ Hugging Face کی گائیڈ مزید کہتی ہے کہ یہ طریقہ تب بہترین چلتا ہے جب ڈرافٹ ماڈل “significantly smaller” (ترجمہ: نمایاں طور پر چھوٹا) ہو اور وہی tokenizer استعمال کرے۔

کچھ قسمیں الگ ڈرافٹ ماڈل ختم کر دیتی ہیں۔ وہی گائیڈ multi-token prediction (MTP) لیئرز بیان کرتی ہے، جن میں مرکزی چیک پوائنٹ کے اضافی heads امیدوار ٹوکنز ڈرافٹ کرتے ہیں۔ DeepSeek V4.1 Flash کا ماڈل کارڈ اپنی آرکیٹیکچر کے حصے کے طور پر اپنی اسکیم، “DSpark speculative decoding”، درج کرتا ہے۔

یہ کیوں اہم ہے

API کال کرنے والے کے لیے اسپیکیولیٹو ڈیکوڈنگ فی درخواست زیادہ ٹوکن فی سیکنڈ کی صورت میں نظر آتی ہے، جس سے لمبے جوابات کی کل لیٹنسی کم ہوتی ہے۔ یہ پہلے ٹوکن تک کا وقت کم نہیں کرتی، جس پر پرامپٹ پڑھنے کا وقت حاوی ہوتا ہے۔

فائدہ یکساں نہیں ہوتا۔ کوڈ ایڈٹس، JSON اور بوائلر پلیٹ جیسا قابلِ پیش گوئی متن ڈرافٹ کرنا آسان ہے۔ تخلیقی، اونچے temperature والا متن مشکل ہے، اس لیے کم اندازے بچتے ہیں۔ بھاری لوڈ میں اضافی تصدیقی کام دوسری درخواستوں سے مقابلہ کرتا ہے، اس لیے فراہم کنندہ اسے فی صارف رفتار یا کل تھرو پٹ کے لیے ٹیون کر سکتا ہے۔

یہ سرور کی طرف کا فیصلہ بھی ہے۔ آپ اسے عام chat completions درخواست سے آن نہیں کر سکتے۔

BroadNet Inference پر

BroadNet کا API ریفرنس اسپیکیولیٹو ڈیکوڈنگ کا ذکر نہیں کرتا۔ اس کا ماڈل کیٹلاگ پروڈکشن Gemma 4 26B A4B بلڈ کو، جو API پر BroadNet Gemma 4 VL 26B کے طور پر دستیاب ہے، MTP (k=2) کے ساتھ چلتا ہوا بتاتا ہے، اور کیٹلاگ اسے اسپیکیولیٹو ڈیکوڈنگ کی ایک شکل کہتا ہے۔ BroadNet کا ماڈل پیج اس بلڈ کو ایک اسٹریم پر تقریباً 136 ٹوکن فی سیکنڈ پر رکھتا ہے۔ کیٹلاگ یہ بھی بتاتا ہے کہ 32 بیک وقت درخواستوں پر EAGLE3 نے تھرو پٹ 69% گھٹا دیا، اسی لیے BroadNet نے MTP ڈرافٹرز رکھے، اور BroadNet نے Uno نامی self-drafting adapter پر دو مطالعے شائع کیے ہیں: vLLM میں Uno اور Gemma 4 26B پر Uno۔ اپنے مقررہ قیمت والے پلانز کے لیے، جو DeepSeek V4.1 Flash چلاتے ہیں، BroadNet کا پلانز پیج تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے۔ اپنی آؤٹ پٹ رفتار اسٹریمنگ سے ناپیں؛ LLM لیٹنسی گائیڈ طریقہ دکھاتی ہے۔

عام سوالات

کیا اسپیکیولیٹو ڈیکوڈنگ جواب بدل دیتی ہے؟

ڈسٹری بیوشن کی سطح پر نہیں۔ دونوں اصل پیپرز ایسا قبولیت کا اصول استعمال کرتے ہیں جو ٹارگٹ ماڈل کی آؤٹ پٹ ڈسٹری بیوشن برقرار رکھتا ہے، اس لیے کوالٹی اکیلے بڑے ماڈل جیسی رہتی ہے۔ فلوٹنگ پوائنٹ کی باریکیوں سے مختلف رنز میں پھر بھی معمولی فرق آ سکتا ہے۔

اسپیکیولیٹو ڈیکوڈنگ کتنی تیز ہے؟

اصل پیپرز T5-XXL پر 2 سے 3 گنا اور 70B Chinchilla ماڈل پر 2 سے 2.5 گنا تیز ڈیکوڈنگ بتاتے ہیں۔ حقیقی فائدہ اس پر منحصر ہے کہ ڈرافٹ ماڈل کتنی بار درست اندازہ لگاتا ہے۔

کیا میں API کے ذریعے اسپیکیولیٹو ڈیکوڈنگ آن کر سکتا ہوں؟

عام chat completions درخواست میں نہیں۔ یہ فراہم کنندہ کا سرونگ سے متعلق فیصلہ ہے۔ آپ کو یہ صرف تیز آؤٹ پٹ کی صورت میں نظر آتی ہے، اس لیے اپنے پرامپٹس پر ٹوکن فی سیکنڈ ناپیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں