النموذج الكثيف يشغّل كل وزن لكل رمز. أما نموذج مزيج الخبراء فلا يشغّل إلا الخبراء القلائل الذين يختارهم موجّهه.
كيف يعمل
قدّم Shazeer وآخرون طبقة MoE ذات البوابة المتفرقة عام 2017: ما يصل إلى آلاف الشبكات الفرعية الأمامية (feed-forward)، مع “a trainable gating network” (ترجمة: شبكة بوابة قابلة للتدريب) تختار “a sparse combination of these experts” (ترجمة: تركيبة متفرقة من هؤلاء الخبراء) لكل مُدخل. وفي نماذج transformer الحديثة، تصبح الكتلة الأمامية في بعض الطبقات مجموعة من الخبراء. ولكل رمز، يمنح الموجّه الخبراءَ درجات ويرسل الرمز إلى أعلى عدد قليل منهم. وتضيف بعض التصاميم خبيرًا مشتركًا يستخدمه كل رمز.
تُظهر بطاقتا نموذجين الأرقام:
| النموذج | إجمالي المعاملات | النشطة لكل رمز | الخبراء |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 نشطة من 128، مع خبير مشترك واحد |
| DeepSeek V4.1 Flash (DeepSeek) | عمود فقري 552B | 8B في التعبئة المسبقة، و16B في فك الترميز | 6 موجَّهة من 384، مع خبير مشترك واحد |
وتقول بطاقة Google إن نموذج 26B A4B “runs almost as fast as a 4B-parameter model.” (ترجمة: يعمل بسرعة تقارب سرعة نموذج من 4 مليارات معامل).
لماذا يهم
- السرعة والسعر لكل رمز يتبعان المعاملات النشطة، لأنها الحوسبة التي يحتاجها كل رمز. ولهذا يمكن أن يكون نموذج MoE كبيرًا ورخيص التقديم في آن.
- الذاكرة تتبع إجمالي المعاملات. فكل خبير يجب أن يكون في ذاكرة GPU، لذا يحتاج نموذج MoE إلى مساحة للأوزان بقدر ما يحتاجه نموذج كثيف بالحجم الإجمالي نفسه. والتكميم طريقة شائعة لاستيعابها.
- الجودة لا تتبع أيًّا من الرقمين بوضوح. قارن النماذج على مهمتك، لا على أعداد المعاملات.
في BroadNet Inference
تقدّم BroadNet نموذج BroadNet Gemma 4 VL 26B بمعرّف النموذج broadnet/gemma-4-26b-a4b، وتصفه بأنه مبني على Gemma 4 من Google. ويُدرج كتالوج نماذجها نسخة الإنتاج على أنها Gemma 4 26B A4B بأوزان AWQ من 4 بتات مع التنبؤ متعدد الرموز. وسعره $0.10 للإدخال و$0.22 للإخراج لكل مليون رمز، وهو النموذج الذي يعمل خلف المفتاح بالساعة. راجع Gemma 4 VL 26B.
أما DeepSeek V4.1 Flash فهو نموذج BroadNet ذو السياق البالغ 1,048,576 رمزًا، والنموذج الوحيد في الخطط ثابتة السعر. وتصميمه القائم على مزيج الخبراء موثّق لدى DeepSeek، لا لدى BroadNet. ولمقارنة النماذج المفتوحة بوصفها فئة، راجع النماذج مفتوحة الأوزان والنماذج مفتوحة الأوزان مقابل المغلقة.