BroadRouter

Mixture of experts (MoE)

اپ ڈیٹ

Mixture of experts (MoE) ایک نیورل نیٹ ورک ڈیزائن ہے جس میں ایک layer میں کئی expert ذیلی نیٹ ورکس ہوتے ہیں اور ایک سیکھا ہوا router ہر ٹوکن کو ان میں سے صرف چند کے پاس بھیجتا ہے۔ MoE لینگویج ماڈل کے کل پیرامیٹرز بہت ہوتے ہیں، لیکن ہر ٹوکن پر ایک چھوٹا active حصہ ہی استعمال کرتا ہے۔

دوسرے نام: مکسچر آف ایکسپرٹس، MoE ماڈل، active پیرامیٹرز، moe kya hai، mixture of experts kya hai، MoE، sparse MoE، mixture-of-experts model، sparse expert model، active parameters

Dense ماڈل ہر ٹوکن کے لیے ہر weight چلاتا ہے۔ Mixture-of-experts ماڈل صرف وہ چند experts چلاتا ہے جنہیں اس کا router چنتا ہے۔

یہ کیسے کام کرتا ہے

Shazeer اور ساتھیوں نے 2017 میں sparsely-gated MoE layer متعارف کرائی: ہزاروں تک feed-forward ذیلی نیٹ ورکس، جن میں سے “a trainable gating network” (ترجمہ: ایک قابلِ تربیت gating نیٹ ورک) ہر ان پٹ کے لیے “a sparse combination of these experts” (ترجمہ: ان experts کا ایک sparse امتزاج) چنتا ہے۔ جدید ٹرانسفارمر میں کچھ layers کا feed-forward بلاک experts کا ایک سیٹ بن جاتا ہے۔ ہر ٹوکن کے لیے router experts کو اسکور دیتا ہے اور ٹوکن کو سب سے اوپر کے چند experts کے پاس بھیجتا ہے۔ کچھ ڈیزائن ایک shared expert شامل کرتے ہیں جسے ہر ٹوکن استعمال کرتا ہے۔

دو ماڈل کارڈز اعداد دکھاتے ہیں:

ماڈل کل پیرامیٹرز فی ٹوکن active Experts
Gemma 4 26B A4B (Google) 25.2B 3.8B 128 میں سے 8 active، ساتھ میں 1 shared
DeepSeek V4.1 Flash (DeepSeek) 552B backbone prefill میں 8B، decode میں 16B 384 میں سے 6 routed، ساتھ میں 1 shared

Google کا کارڈ کہتا ہے کہ 26B A4B ماڈل “runs almost as fast as a 4B-parameter model.” (ترجمہ: تقریباً 4B پیرامیٹرز والے ماڈل جتنا تیز چلتا ہے۔)

یہ کیوں اہم ہے

  • فی ٹوکن رفتار اور قیمت active پیرامیٹرز کے مطابق چلتی ہیں، کیونکہ ہر ٹوکن کو اتنا ہی compute چاہیے۔ اسی طرح MoE ماڈل بڑا ہو کر بھی سرو کرنے میں سستا ہو سکتا ہے۔
  • میموری کل پیرامیٹرز کے مطابق چلتی ہے۔ ہر expert کو GPU میموری میں رہنا ہوتا ہے، اس لیے MoE ماڈل کو weights کے لیے اتنی ہی جگہ چاہیے جتنی اسی کل سائز کے dense ماڈل کو۔ کوانٹائزیشن انہیں سمانے کا عام طریقہ ہے۔
  • معیار ان میں سے کسی عدد کے ساتھ صاف طور پر نہیں چلتا۔ ماڈلز کا موازنہ پیرامیٹر گنتی پر نہیں، اپنے کام پر کریں۔

BroadNet Inference پر

BroadNet، BroadNet Gemma 4 VL 26B کو ماڈل ID broadnet/gemma-4-26b-a4b سے سرو کرتا ہے اور اسے Google کے Gemma 4 پر مبنی بتاتا ہے۔ اس کا ماڈل کیٹلاگ پروڈکشن بلڈ کو AWQ 4-bit weights اور multi-token prediction کے ساتھ Gemma 4 26B A4B کے طور پر درج کرتا ہے۔ اس کی قیمت فی 1M ٹوکنز $0.10 ان پٹ اور $0.22 آؤٹ پٹ ہے، اور یہی گھنٹے والی کلید کے پیچھے کا ماڈل ہے۔ دیکھیں Gemma 4 VL 26B۔

DeepSeek V4.1 Flash BroadNet کا 1,048,576 ٹوکن context والا ماڈل ہے اور فلیٹ پلانز پر دستیاب واحد ماڈل۔ اس کا MoE ڈیزائن DeepSeek نے درج کیا ہے، BroadNet نے نہیں۔ ایک زمرے کے طور پر اوپن ماڈلز کے موازنے کے لیے اوپن ویٹ ماڈلز اور اوپن ویٹ بمقابلہ کلوزڈ ماڈلز دیکھیں۔

عام سوالات

Gemma 4 26B A4B میں A4B کا کیا مطلب ہے؟

Google کا ماڈل کارڈ کہتا ہے کہ "A" کا مطلب active پیرامیٹرز ہے۔ ماڈل میں کل 25.2B پیرامیٹرز ہیں، لیکن ہر ٹوکن پر تقریباً 3.8B ہی active ہوتے ہیں۔

کیا DeepSeek V4.1 Flash ایک mixture-of-experts ماڈل ہے؟

ہاں۔ DeepSeek کا ماڈل کارڈ اسے multimodal MoE ماڈل کہتا ہے، جس میں 552B backbone پیرامیٹرز ہیں، ہر MoE layer میں 1 shared اور 384 routed experts ہیں، اور ہر ٹوکن پر 6 routed experts active ہوتے ہیں۔

کیا MoE ماڈل کو کم میموری چاہیے؟

نہیں۔ تمام experts لوڈ ہونے چاہئیں، کیونکہ کوئی بھی ٹوکن کسی بھی expert کے پاس جا سکتا ہے۔ MoE فی ٹوکن compute بچاتا ہے، weights کی میموری نہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں