BroadRouter

Uno في vLLM: ما الذي قاسته دراسة التقديم لدى BroadNet؟

بقلم فريق BroadNet Inference · قراءة في 4 دقائق · تاريخ النشر

Uno في vLLM ورقة أولية من BroadNet صدرت في سبتمبر 2026 (DOI 10.5281/zenodo.22652610). تضيف إلى vLLM طريقة Uno، وهي محوّل يتيح للنموذج كتابة مسوّدة رموزه بنفسه. على H100 مع Qwen3-8B، قاست BroadNet إنتاجية تبلغ 2.58 ضعف vLLM العادي عند تدفق واحد، و2.20 عند ثمانية، و1.74 عند 32، بفارق لا يتجاوز 3% عن التنفيذ المرجعي.

Uno في vLLM ورقة أولية من الذراع البحثية لدى BroadNet، نُشرت على Zenodo في 8 سبتمبر 2026 بمعرّف DOI 10.5281/zenodo.22652610. تعرض تنفيذًا أصليًا في vLLM لطريقة Uno، وهي طريقة لفك الترميز التخميني طوّرتها IFM، وتقيس كم يصبح التقديم أسرع مقارنة بـvLLM العادي. ويذكر سجلها على Zenodo أن المؤلف هو Mohammad Al Zubaidi.

تلخّص هذه الصفحة ما تقوله الورقة، وكيف قاسته، وما الذي تخبرك به وما لا تخبرك به. الأرقام أرقام BroadNet؛ ولم نُعِد إنتاجها.

ما المشكلة التي تعالجها Uno؟

يولّد نموذج اللغة عادةً رمزًا واحدًا في كل تمريرة أمامية. ويسرّع فك الترميز التخميني ذلك بتخمين عدة رموز مقدّمًا والتحقق منها في تمريرة واحدة عبر النموذج الكامل. معظم الطرق تستخدم نموذج مسوّدة منفصلًا أصغر. أما Uno فتُلحق محوّلًا مدرَّبًا بالنموذج نفسه، فيكتب النموذج مسوّدة رموزه ثم يتحقق منها بأوزانه الأصلية. راجع فك الترميز التخميني للفكرة العامة.

وسؤال الورقة عملي: هل يصمد هذا التسريع داخل محرّك تقديم إنتاجي، مع التجميع في دفعات والتخزين المؤقت وطلبات كثيرة في وقت واحد؟

ماذا بنت BroadNet؟

تنسب تدوينة BroadNet الفضل بوضوح: “Uno, developed by IFM and collaborators” (الترجمة: Uno، التي طوّرتها IFM ومتعاونون) هي الطريقة، وإسهام BroadNet هو “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (الترجمة: الدمج الأصلي في vLLM، والهندسة التي تجعل مسارات تنفيذها تعمل معًا، وتقييم التقديم). ويعدّد الملخص مكوّنات التنفيذ: توجيه المحوّل المشروط، وحالة المفاتيح والقيم الكاملة للمسوّدة، والجدولة غير المتزامنة، وإعادة تشغيل CUDA graph، وتداخل حسابات المحوّل، وإعادة استخدام صفوف البذرة.

الشيفرة متاحة للعموم في مستودع vllm-uno لدى BroadNet، وقد اقترحتها BroadNet على مشروع vLLM الأصلي في طلب الدمج رقم 55947.

كيف جرى القياس؟

الاختبار الرئيسي اختبار مضبوط:

  • العتاد والنموذج: وحدة NVIDIA H100 واحدة، وQwen3-8B بدقة bfloat16، مع محوّل Uno المنشور لـQwen3-8B.
  • حجم العمل: ثمانية أوامر رياضيات، تُكرَّر لملء دفعات أكبر، يولّد كل منها حتى 512 رمزًا، مع إيقاف التخزين المؤقت للبادئة.
  • خط الأساس: vLLM الانحداري الذاتي المعتاد (“plain vLLM”، أي vLLM العادي) على الإعداد نفسه.
  • التزامن: 1 و8 و32 تدفقًا متزامنًا.

وتشغّل مقارنة ثانية منفصلة التخزين المؤقت للبادئة وتستخدم إعدادات التقديم التي اختارتها BroadNet، للمقارنة مع التنفيذ المرجعي في SGLang.

ماذا وجدت الدراسة؟

القياس النتيجة التي تذكرها BroadNet
الإنتاجية مقارنة بـvLLM العادي، تدفق واحد 2.58x
الإنتاجية مقارنة بـvLLM العادي، 8 تدفقات 2.20x
الإنتاجية مقارنة بـvLLM العادي، 32 تدفقًا 1.74x
الفارق عن التنفيذ المرجعي في SGLang ضمن 3% عند 1 و8 و32 تدفقًا
إعدادات الإنتاج، 32 تدفقًا 7,657 رمزًا/ث، مقابل 7,505 لـSGLang (متقدّم بـ2.0%)
زمن أول رمز مع ذاكرة دافئة، اختبار استبعاد داخل vLLM أقل بـ25% مع عمليتَي API بدل واحدة

العنوان الأهم لتخطيط السعة هو آخر صف في المجموعة الأولى: إخراج أكثر بـ74% في الثانية عند 32 تدفقًا متزامنًا، من وحدة GPU نفسها. وهذا ما تسمّيه مدونة BroadNet “the central payoff” (الترجمة: المكسب المحوري)، لأن التسريع الذي يختفي تحت الحمل لا يقدّم الكثير لواجهة API مشتركة.

ويُوصف إصدار لاحق (v0.2.0، على Model Runner V2 في vLLM) في مدونة BroadNet بإخراج أعلى بـ2.1 إلى 2.4 مرة لتدفق واحد على Blackwell، و1.7 إلى 1.9 مرة على Ampere، و2.6 مرة على Hopper. هذه عتاد وإصدارات مختلفة عن الجدول الرئيسي في الورقة، ولهذا تختلف الأرقام.

ما حدود الدراسة؟

  • نموذج واحد وحجم عمل واحد. النتيجة المضبوطة هي Qwen3-8B على أوامر رياضيات. الشيفرة البرمجية أو المحادثة أو المستندات الطويلة قد تقبل رموز مسوّدة أقل.
  • المكاسب تتقلص مع الحمل. الاتجاه من 2.58x إلى 1.74x هو الشكل المتوقع: حين تنشغل وحدة GPU تنفد قدرة الحوسبة الفائضة المتاحة للمسوّدة.
  • ورقة أولية. الورقة مودَعة على Zenodo ولم تخضع لمراجعة الأقران. ويحتوي أرشيفها المصاحب على جرد الأدلة وبيانات الأشكال، وهو ما يتيح للآخرين التحقق منها.
  • قياس ذاتي. شغّلت BroadNet الذراعين كليهما. والتوافق ضمن 3% مع التنفيذ المرجعي هو فحص الورقة نفسها على ذلك.

لماذا يهمّك هذا إذا كنت تستدعي واجهة API فقط؟

الإنتاجية لكل GPU تحدّد ما يستطيع المزود فرضه من سعر ومدى سرعة رده تحت الحمل. تذكر قائمة BroadNet أنها تقيس طرق المسوّدة عند تزامن حقيقي قبل اختيار إحداها، وأنها استبعدت EAGLE3 بعد أن كلّف 69% من الإنتاجية عند 32 طلبًا متزامنًا. وتطبّق الدراسة اللاحقة على Gemma 4 26B المنهج نفسه على نموذج مزيج الخبراء الذي تبيعه BroadNet باسم Gemma 4 VL 26B. ولمعرفة موقع ذلك من خيارات التقديم الأوسع لدى BroadNet، راجع عتاد GPU لدى BroadNet ونهجها في التقديم.

وإذا كنت تشغّل خوادم vLLM الخاصة بك، فالدرس العملي هو قياس أي طريقة مسوّدة عند التزامن الذي تشغّله فعلًا، لا عند تدفق واحد.

أسئلة شائعة

ما هي طريقة Uno؟

Uno طريقة لفك الترميز التخميني طوّرتها IFM مع متعاونين. يتيح محوّل صغير مدرَّب للنموذج اقتراح عدة رموز دفعة واحدة، ثم تتحقق منها أوزان النموذج نفسه. ولا يوجد نموذج مسوّدة منفصل.

هل التسريع دون فقدان في الجودة؟

تقول BroadNet ذلك عن إصدارها: كلما أعاد vLLM العادي إنتاج ناتجه نفسه، طابق Uno رموزه في فك الترميز الجشع، ونجحت اختبارات توزيع العيّنات. يتحقق فك الترميز التخميني من كل رمز في المسوّدة بالنموذج الكامل، فلا ينبغي أن تتغيّر جودة الناتج؛ تحقّق من ذلك على أوامرك أنت.

هل يفيد Uno عند التزامن المرتفع؟

أقل مما يفيد عند التزامن المنخفض. في الاختبار المضبوط في الورقة هبط المكسب من 2.58x عند تدفق واحد إلى 1.74x عند 32. وتذكر قائمة BroadNet أيضًا أن طريقة أخرى، هي EAGLE3، كلّفت 69% من الإنتاجية عند 32 طلبًا متزامنًا، لذا تحتاج طرق المسوّدة إلى اختبار تحت حملك الفعلي.

هل يمكنني تشغيله بنفسي؟

نعم. تنشر BroadNet التنفيذ في مستودع vllm-uno لديها، مع صورة حاوية وإصدارات مثبّتة وسجل تحقق لكل إصدار، وقد اقترحته على vLLM في طلب الدمج رقم 55947.

هل تستخدم BroadNet Inference طريقة Uno في نماذج الـAPI لديها؟

لا تقول BroadNet ذلك. تُدرج قائمتها مسوّدات تنبؤ متعدد الرموز (k=2) في الإنتاج لـGemma 4 26B. أما Uno فنتيجة بحثية تنشرها BroadNet؛ اسأل BroadNet إذا احتجت إليها على نقطة وصول خاصة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity