يكتب النموذج الكبير رمزًا واحدًا في كل مرور أمامي. ويتيح له فك الترميز التخميني أن يؤكد عدة رموز في المرور الواحد.
كيف يعمل
ينطلق Leviathan وزملاؤه من حقيقة بسيطة: “decoding K tokens takes K serial runs of the model.” (ترجمة: فك ترميز K رمز يتطلب K تشغيلًا متتاليًا للنموذج.) وحلّهم يستعير التنفيذ التخميني من المعالجات:
- يخمّن نموذج مسوّدة، أصغر وأسرع بكثير، الرموز القليلة التالية.
- يقيّم النموذج المستهدف كل هذه التخمينات في مرور أمامي واحد. وتقييم سلسلة قصيرة من الرموز يكلّف تقريبًا ما يكلّفه إنتاج رمز واحد، كما يلاحظ Chen وزملاؤه.
- تُبقي خطوة معدّلة من أخذ العينات بالرفض أطول سلسلة من التخمينات يوافق عليها النموذج المستهدف، ثم يأخذ عينة رمز واحد من عنده.
- يتكرر ذلك من الموضع الجديد.
حين تصيب المسوّدة كثيرًا، يُنتج كل مرور مكلف عدة رموز. وحين تخطئ، لا تخسر إلا قليلًا: فالنموذج المستهدف يُنتج رمزًا واحدًا على الأقل في كل الأحوال. ويضيف دليل Hugging Face أن الطريقة تعمل أفضل حين يكون نموذج المسوّدة “significantly smaller” (ترجمة: أصغر بكثير) ويشترك في المجزّئ (tokenizer) نفسه.
وتستغني بعض الصيغ عن نموذج المسوّدة المنفصل. فالدليل نفسه يصف طبقات التنبؤ بعدة رموز (MTP)، حيث تصوغ رؤوس إضافية في نقطة الحفظ الرئيسية المرشّحين. وتُدرج بطاقة نموذج DeepSeek V4.1 Flash من DeepSeek مخططها الخاص، “DSpark speculative decoding”، جزءًا من البنية.
لماذا يهم
بالنسبة لمستدعي API، يظهر فك الترميز التخميني في صورة رموز في الثانية أعلى لكل طلب، ما يقلّص زمن الاستجابة الإجمالي للإجابات الطويلة. لكنه لا يقصّر زمن الوصول إلى أول رمز، الذي تهيمن عليه قراءة الأمر.
والمكسب غير متساوٍ. فالنص المتوقَّع، كتعديلات الشيفرة وJSON والنصوص المتكررة، سهل التخمين. أما النص الإبداعي بدرجة حرارة عالية فأصعب، فتصمد تخمينات أقل. وتحت الحمل الثقيل، يتنافس عمل التحقق الإضافي مع الطلبات الأخرى، فقد يضبطه المزوّد لصالح سرعة كل مستخدم أو لصالح الإنتاجية الكلية.
وهو أيضًا خيار من جهة الخادم. لا يمكنك تفعيله عبر طلب chat completions قياسي.
في BroadNet Inference
لا يذكر المرجع التقني لواجهة BroadNet فك الترميز التخميني. لكن كتالوج نماذجها يُدرج نسخة الإنتاج من Gemma 4 26B A4B، المتاحة على الواجهة باسم BroadNet Gemma 4 VL 26B، على أنها تعمل بتقنية MTP (k=2)، ويصفها الكتالوج بأنها شكل من أشكال فك الترميز التخميني. وتقدّر صفحة النموذج لدى BroadNet سرعة هذه النسخة بنحو 136 رمزًا في الثانية في تدفق واحد. ويُبلغ الكتالوج أيضًا أن EAGLE3 خفّض الإنتاجية بنسبة 69% عند 32 طلبًا متزامنًا، ولهذا أبقت BroadNet على نماذج المسوّدة MTP، كما نشرت BroadNet دراستين عن Uno، وهو محوّل (adapter) يصوغ مسوّداته بنفسه: Uno في vLLM وUno على Gemma 4 26B. وبالنسبة إلى خططها ثابتة السعر، التي تشغّل DeepSeek V4.1 Flash، تذكر صفحة خطط BroadNet سرعة معتادة قدرها نحو 100 رمز في الثانية. قِس سرعة المخرجات بنفسك باستخدام البث المتدفق؛ ويشرح دليل زمن استجابة نماذج اللغة الطريقة.