تطبّق ورقة Uno الأولية الثانية من BroadNet المسوّدة الذاتية على نموذج مزيج خبراء لأول مرة. نُشرت على Zenodo في 18 سبتمبر 2026 بمعرّف DOI 10.5281/zenodo.22820511، وهي تقدّم Gemma 4 26B A4B بدقة 4 بت وتدرّب له محوّل Uno. والنموذج المستهدف هو النموذج الأساسي نفسه لـBroadNet Gemma 4 VL 26B على BroadNet Inference.
وهي تأتي بعد دراسة تقديم Uno في vLLM، التي اختبرت نموذجًا كثيفًا بحجم 8B. الأرقام أدناه أرقام BroadNet؛ ولم نُعِد إنتاجها.
ما السؤال المطروح؟
يكتب فك الترميز التخميني مسوّدة من عدة رموز ثم يتحقق منها في تمريرة واحدة. وفي نموذج مزيج الخبراء يظهر قلق إضافي: قد تُوجَّه صفوف المسوّدة إلى خبراء مختلفين، فتقرأ مسوّدة من أربعة رموز أوزان خبراء أكثر بكثير مما يقرؤه توليد رمز واحد. تسأل الورقة هل يجعل هذا «التشعّب بين الخبراء» المسوّدة الذاتية مكلفة أكثر من اللازم، ومتى تتفوّق المسوّدة الذاتية على مسوّدة منفصلة.
كيف اختبرت BroadNet ذلك؟
من ملخص الورقة ومن وصف BroadNet لمنهجها:
- النموذج: Gemma 4 26B A4B، بنحو 4B معامل نشط لكل رمز، وبأوزان 4 بت.
- العتاد: وحدات GPU من فئة 24 GB، بتسلسل واحد في كل مرة.
- حجم العمل: 72 أمرًا من حركة الإنتاج لدى BroadNet؛ ويُقسَم كل تسريع على تشغيل بفك ترميز عادي في الجلسة نفسها.
- السياق الطويل: مجموعة منفصلة من خمسة أوامر بطول يقارب 10,500 رمز.
- المحوّل: برتبة 16، دُرِّب على 965 صفًا عبر نقطة الحفظ نفسها بدقة 4 بت التي يُقدَّم عليها، على GPU واحدة بسعة 24 GB، دون أي أوزان بالدقة الكاملة في الحلقة.
ماذا وجدت الدراسة؟
| طريقة فك ترميز Gemma 4 26B A4B | التسريع مقارنة بفك الترميز العادي |
|---|---|
| فك الترميز العادي | 1.000 |
| محوّل Uno التجريبي، بعرض 4 | 1.166 |
| مسوّدة التنبؤ متعدد الرموز، بعرض 2 | 1.474 |
| مسوّدة الكتل، بعرض 8 | 1.553 |
| Uno عند سياق يقارب 10,500 رمز | 1.089 (مسوّدة MTP: 1.011) |
ونتائج أخرى تذكرها BroadNet:
- التدريب أفاد. ارتفعت النسبة المقبولة من 42.4% إلى 48.9% خلال 1,500 تحديث، وقبلت مدوّنة أكبر من 2,000 صف، دُرّبت بالوصفة نفسها، 0.49 رمز مسوّدة إضافيًا في كل خطوة تحقق مقارنةً بتشغيل المرجع المطابق.
- التشعّب بين الخبراء حقيقي لكنه رخيص. لمست أربعة صفوف مسوّدة 22 خبيرًا مختلفًا مقابل 8 لصف واحد، ومع ذلك بقيت التكلفة المرتبطة بالصفوف كلها في حدود 0.53 خطوة من دورة تبلغ نحو 2.4. وتستنتج BroadNet أن تكلفة التوجيه “worth under a fifth of a cycle” (الترجمة: تساوي أقل من خُمس دورة) على هذه الفئة من العتاد.
- دون فقدان. بنت BroadNet فحصًا لملف إعدادات لا يعيد ناتجه العادي نفسه بين الجلسات، وتقول إن Uno “as close to plain as plain is to itself” (الترجمة: قريب من الناتج العادي بقدر قرب الناتج العادي من نفسه).
- خمس لغات. تقدّم الورقة ما تسمّيه أول قياس لنسبة قبول هذا المحوّل عبر خمس لغات.
ماذا يعني ذلك عمليًا؟
قاعدة الورقة نفسها بسيطة: إذا وُجدت مسوّدة صغيرة جيدة لنموذجك فاستخدمها؛ أما المسوّدة الذاتية فتثبت جدواها في السياق الطويل وفي النماذج التي ليست لها مسوّدة. وهذا يتّفق مع ما تقول BroadNet إنها تشغّله: فقائمتها تُدرج Gemma 4 26B في الإنتاج مع مسوّدة تنبؤ متعدد الرموز (k=2)، مع “90%+ acceptance on structured prompts” (الترجمة: نسبة قبول تفوق 90% على الأوامر المنظَّمة).
كم تضيف المسوّدة في الإنتاج؟ تذكر قائمة BroadNet أن التنبؤ متعدد الرموز أضاف 48.8% على RTX 3090، وتذكر صفحة Gemma 4 VL 26B لديها نحو 136 رمزًا في الثانية على تدفق واحد مع تفعيل فك الترميز التخميني. كلاهما من قياسات BroadNet نفسها، على إعدادات التقديم التي تصفها صفحة النموذج، لذا تعتمد سرعتك عبر الـAPI أيضًا على الحمل وعلى طول أمرك والإجابة.
بالنسبة إلى مشتري واجهات API، الجزء المفيد هو المنهج لا المحوّل. تقول BroadNet إن كل نموذج تقدّمه يمرّ بهذا الحساب قبل أن يصل إلى أي عميل: قِس تكلفة دورة مسوّدة واحدة، ثم اختر المسوّدة التي تفوز على حجم العمل الفعلي. والانضباط نفسه هو ما قادها إلى استبعاد EAGLE3 في التقديم المشبَع.
ما حدود الدراسة؟
- تدفق واحد فقط. تسلسل واحد في كل مرة، وتشغيل واحد لكل ذراع. التقديم بالدفعات يتصرّف بشكل مختلف، كما أظهرت الدراسة على النموذج الكثيف.
- نموذج واحد. النتائج تخص Gemma 4 26B A4B بدقة 4 بت على بطاقات من فئة 24 GB.
- ورقة أولية. الإصدار 2.3 على Zenodo، لم يخضع لمراجعة الأقران، ومرفق به أرشيف أدلة مصاحب.
يتضمّن الإصدار v0.3.0 من vllm-uno ملف إعدادات التقديم وصورة حاوية وسجل التحقق، فيمكن التحقق من الأرقام. ولتجربة النموذج المقدَّم نفسه، تشغّل ساحة التجربة في المتصفح لدى BroadNet نموذج Gemma 4 دون حساب.
