Yoğun (dense) bir model her token için her ağırlığı çalıştırır. Uzmanlar karışımı modeli ise yalnızca yönlendiricisinin seçtiği birkaç uzmanı çalıştırır.
Nasıl çalışır
Shazeer vd. seyrek kapılı MoE katmanını 2017’de tanıttı: binlerceye varan ileri beslemeli alt ağ ve her girdi için “a sparse combination of these experts” (çeviri: bu uzmanların seyrek bir kombinasyonunu) seçen “a trainable gating network” (çeviri: eğitilebilir bir kapı ağı). Modern bir transformer’da bazı katmanların ileri beslemeli bloğu bir uzmanlar kümesine dönüşür. Yönlendirici her token için uzmanları puanlar ve token’ı en iyi birkaç uzmana gönderir. Bazı tasarımlar her token’ın kullandığı paylaşılan bir uzman ekler.
İki model kartı sayıları gösteriyor:
| Model | Toplam parametre | Token başına aktif | Uzmanlar |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2B | 3,8B | 128’den 8 aktif, artı 1 paylaşılan |
| DeepSeek V4.1 Flash (DeepSeek) | 552B omurga | Prefill’de 8B, decode’da 16B | 384’ten 6 yönlendirilen, artı 1 paylaşılan |
Google’ın kartı, 26B A4B modelinin “runs almost as fast as a 4B-parameter model.” (çeviri: neredeyse 4B parametreli bir model kadar hızlı çalıştığını) söyler.
Neden önemli
- Token başına hız ve fiyat aktif parametreleri izler, çünkü her token’ın ihtiyaç duyduğu hesaplama budur. Bir MoE modelinin hem büyük hem de sunması ucuz olabilmesinin sebebi budur.
- Bellek toplam parametreleri izler. Her uzmanın GPU belleğinde durması gerekir; bu yüzden bir MoE modeli ağırlıklar için aynı toplam boyuttaki yoğun bir model kadar yer ister. Kuantizasyon bunları sığdırmanın yaygın bir yoludur.
- Kalite iki sayıyı da net biçimde izlemez. Modelleri parametre sayılarıyla değil, kendi görevinizde karşılaştırın.
BroadNet Inference’ta
BroadNet, BroadNet Gemma 4 VL 26B modelini broadnet/gemma-4-26b-a4b model kimliğiyle sunar ve onu Google’ın Gemma 4’üne dayalı olarak tanımlar. Model kataloğu üretim sürümünü AWQ 4 bitlik ağırlıklar ve çoklu token tahminiyle Gemma 4 26B A4B olarak listeler. 1M token başına girdi $0.10, çıktı $0.22 tutarındadır ve saatlik anahtarın arkasındaki modeldir. Bkz. Gemma 4 VL 26B.
DeepSeek V4.1 Flash, BroadNet’in 1.048.576 token bağlamlı modelidir ve sabit fiyatlı planlardaki tek modeldir. MoE tasarımı BroadNet tarafından değil, DeepSeek tarafından belgelenmiştir. Açık modellerin bir kategori olarak nasıl karşılaştırıldığı için açık ağırlıklı modeller ve açık ağırlıklı ve kapalı modeller sayfalarına bakın.