---
title: "Qu’est-ce qu’un mixture of experts (MoE) dans un LLM ?"
description: "Un LLM MoE fait passer chaque token par quelques sous-réseaux experts : seule une partie du modèle tourne. Paramètres totaux ou actifs, exemples Gemma 4 et DeepSeek."
url: https://broadrouter.com/fr/glossary/mixture-of-experts/
lang: fr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/mixture-of-experts/) (mis à jour le 2026-11-14).

# Mixture of experts (MoE, mélange d’experts)

Mis à jour 2026-11-14

Le mixture of experts (MoE) est une architecture de réseau de neurones dans laquelle une couche contient de nombreux sous-réseaux experts et un routeur appris envoie chaque token vers quelques-uns seulement. Un modèle de langage MoE a un grand nombre total de paramètres mais n’en utilise qu’un petit sous-ensemble actif par token.

Aussi appelé : MoE, mixture of experts, mélange d’experts, modèle MoE, MoE creux, paramètres actifs, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Un modèle dense fait tourner chaque poids pour chaque token. Un modèle mixture of experts ne fait tourner que les quelques experts choisis par son routeur.

## Comment ça marche

Shazeer et al. ont introduit en 2017 la couche MoE à portes parcimonieuses : jusqu’à des milliers de sous-réseaux feed-forward, avec « a trainable gating network » (traduction : « un réseau de portes entraînable ») qui choisit « a sparse combination of these experts » (traduction : « une combinaison parcimonieuse de ces experts ») pour chaque entrée. Dans un transformer moderne, le bloc feed-forward de certaines couches devient un ensemble d’experts. Pour chaque token, le routeur note les experts et envoie le token aux quelques meilleurs. Certaines architectures ajoutent un expert partagé utilisé par tous les tokens.

Deux fiches de modèles donnent les chiffres :

| Modèle | Paramètres totaux | Actifs par token | Experts |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25,2 milliards | 3,8 milliards | 8 actifs sur 128, plus 1 partagé |
| DeepSeek V4.1 Flash (DeepSeek) | 552 milliards (backbone) | 8 milliards en prefill, 16 milliards en decode | 6 routés sur 384, plus 1 partagé |

La fiche de Google indique que le modèle 26B A4B « runs almost as fast as a 4B-parameter model » (traduction : « tourne presque aussi vite qu’un modèle de 4 milliards de paramètres »).

## Pourquoi c’est important

-   **La vitesse et le prix par token** suivent les paramètres actifs, car c’est le calcul nécessaire à chaque token. C’est ainsi qu’un modèle MoE peut être grand tout en restant peu coûteux à servir.
-   **La mémoire** suit les paramètres totaux. Chaque expert doit résider en mémoire GPU : un modèle MoE demande donc autant de place pour ses poids qu’un modèle dense de même taille totale. La [quantification](https://broadrouter.com/fr/glossary/quantization/) est un moyen courant de les faire tenir.
-   **La qualité** ne suit proprement ni l’un ni l’autre de ces chiffres. Comparez les modèles sur votre propre tâche, pas sur leur nombre de paramètres.

## Sur BroadNet Inference

BroadNet sert BroadNet Gemma 4 VL 26B sous l’ID de modèle `broadnet/gemma-4-26b-a4b` et le décrit comme basé sur Gemma 4 de Google. Son catalogue de modèles présente la version de production comme Gemma 4 26B A4B avec des poids AWQ 4 bits et multi-token prediction. Il coûte $0.10 en entrée et $0.22 en sortie par million de tokens, et c’est le modèle derrière la clé horaire. Voir [Gemma 4 VL 26B](https://broadrouter.com/fr/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/fr/models/deepseek-v4.1-flash/) est le modèle de BroadNet doté d’un contexte de 1 048 576 tokens, et le seul modèle inclus dans les forfaits. Son architecture MoE est documentée par DeepSeek, pas par BroadNet. Pour comparer les modèles ouverts en tant que catégorie, voir [modèles open-weight](https://broadrouter.com/fr/glossary/open-weight-model/) et [modèles open-weight ou fermés](https://broadrouter.com/fr/blog/open-weight-vs-closed-models/).

## Questions fréquentes

### Que signifie A4B dans Gemma 4 26B A4B ?

D’après la fiche du modèle de Google, le « A » désigne les paramètres actifs. Le modèle compte 25,2 milliards de paramètres au total mais en active environ 3,8 milliards par token.

### DeepSeek V4.1 Flash est-il un modèle mixture of experts ?

Oui. La fiche du modèle de DeepSeek le présente comme un modèle MoE multimodal de 552 milliards de paramètres de backbone, avec 1 expert partagé et 384 experts routés par couche MoE, et 6 experts routés actifs par token.

### Un modèle MoE demande-t-il moins de mémoire ?

Non. Tous les experts doivent être chargés, car n’importe quel token peut être routé vers n’importe lequel. Le MoE économise du calcul par token, pas de la mémoire pour les poids.

## Voir aussi

-   [Modèle open-weight (à poids ouverts)](https://broadrouter.com/fr/glossary/open-weight-model/) (terme)
-   [Quantification (quantization)](https://broadrouter.com/fr/glossary/quantization/) (terme)
-   [Tokens par seconde (TPS)](https://broadrouter.com/fr/glossary/tokens-per-second/) (terme)
-   [Cache KV (KV cache)](https://broadrouter.com/fr/glossary/kv-cache/) (terme)
-   [Heure GPU (GPU-hour)](https://broadrouter.com/fr/glossary/gpu-hour/) (terme)
-   [Utiliser le SDK Python d’OpenAI avec BroadNet Inference](https://broadrouter.com/fr/guides/openai-python-sdk/) (guide)
-   [IA open-weight ou fermée en entreprise : coût, contrôle, risque](https://broadrouter.com/fr/blog/open-weight-vs-closed-models/) (article)
-   [Meilleur modèle ouvert pour agents de code : outils, contexte, coût](https://broadrouter.com/fr/blog/best-open-model-for-coding-agents/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-mixture-of-experts&utm_content=page-cta) ·

**Sources**

-   [Shazeer et al., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, fiche du modèle Gemma 4 26B A4B (instruction-tuned)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, fiche du modèle DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Référence de l’API BroadNet Inference, ID de modèles (en anglais)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-mixture-of-experts&utm_content=sources)
-   [Catalogue des modèles de BroadNet (mesures en laboratoire, septembre 2026) (en anglais)](https://www.broadnet.ai/inference/models)
