BroadRouter
Commencer

Décodage spéculatif (speculative decoding)

Mis à jour

Le décodage spéculatif est une technique d’inférence dans laquelle un petit modèle brouillon rapide propose plusieurs tokens suivants, que le grand modèle cible vérifie en une seule passe avant (forward pass) en gardant ceux qu’il accepte. Il accélère la génération sans changer la distribution de la sortie.

Aussi appelé : décodage spéculatif, échantillonnage spéculatif, génération assistée, modèle brouillon, speculative decoding, speculative sampling, assisted generation, assisted decoding, draft model decoding

Un grand modèle écrit un token par passe avant. Le décodage spéculatif lui permet d’en valider plusieurs par passe.

Comment ça marche

Leviathan et al. partent d’un constat simple : « decoding K tokens takes K serial runs of the model. » (traduction : « décoder K tokens demande K exécutions successives du modèle. ») Leur solution emprunte l’exécution spéculative des processeurs :

  1. Un modèle brouillon, beaucoup plus petit et plus rapide, devine les quelques tokens suivants.
  2. Le modèle cible évalue toutes ces propositions en une seule passe avant. Évaluer une courte suite de tokens coûte à peu près autant que d’en produire un seul, comme l’observent Chen et al.
  3. Une étape modifiée de rejection sampling garde la plus longue suite de propositions acceptée par le modèle cible, puis échantillonne un token de son cru.
  4. On recommence à partir de la nouvelle position.

Quand le brouillon voit juste souvent, chaque passe coûteuse rapporte plusieurs tokens. Quand il se trompe, la perte est faible : le modèle cible produit quand même au moins un token. Le guide de Hugging Face ajoute que la méthode marche le mieux quand le modèle brouillon est « significantly smaller » (traduction : « nettement plus petit ») et partage le même tokenizer.

Certaines variantes se passent d’un modèle brouillon séparé. Le même guide décrit les couches de multi-token prediction (MTP), où des têtes supplémentaires dans le checkpoint principal rédigent les candidats. La fiche de DeepSeek V4.1 Flash mentionne son propre procédé, « DSpark speculative decoding », comme élément de l’architecture.

Pourquoi c’est important

Pour un utilisateur d’API, le décodage spéculatif se traduit par davantage de tokens par seconde par requête, ce qui réduit la latence totale sur les longues réponses. Il ne raccourcit pas le time to first token, dominé par la lecture du prompt.

Le gain est inégal. Un texte prévisible, comme des modifications de code, du JSON ou du texte standard, se prête bien au brouillon. Un texte créatif à température élevée est plus difficile, et moins de propositions survivent. Sous forte charge, le travail de vérification supplémentaire concurrence les autres requêtes : un fournisseur peut donc régler le mécanisme pour la vitesse par utilisateur ou pour le débit total.

C’est aussi un choix côté serveur. Vous ne pouvez pas l’activer via une requête chat completions standard.

Sur BroadNet Inference

La référence de l’API BroadNet ne mentionne pas le décodage spéculatif. Son catalogue de modèles indique que le build de production de Gemma 4 26B A4B, proposé dans l’API sous le nom BroadNet Gemma 4 VL 26B, tourne avec MTP (k=2), que le catalogue décrit comme une forme de décodage spéculatif. La page du modèle chez BroadNet situe ce build à environ 136 tokens par seconde sur un seul flux. Le catalogue rapporte aussi qu’EAGLE3 réduisait le débit de 69 % à 32 requêtes simultanées, raison pour laquelle BroadNet a conservé les drafters MTP, et BroadNet a publié deux études sur Uno, un adaptateur auto-brouillon : Uno dans vLLM et Uno sur Gemma 4 26B. Pour ses forfaits à prix fixe, qui utilisent DeepSeek V4.1 Flash, la page des forfaits de BroadNet indique une vitesse typique de environ 100 tokens par seconde. Mesurez votre propre vitesse de sortie en streaming ; le guide sur la latence des LLM explique comment.

Questions fréquentes

Le décodage spéculatif change-t-il la réponse ?

Pas en distribution. Les deux articles d’origine utilisent une règle d’acceptation qui préserve la distribution de sortie du modèle cible : la qualité est celle du grand modèle seul. Des détails de calcul en virgule flottante peuvent toutefois différer légèrement d’une exécution à l’autre.

De combien le décodage spéculatif accélère-t-il la génération ?

Les articles d’origine rapportent un décodage 2 à 3 fois plus rapide sur T5-XXL et 2 à 2,5 fois sur un modèle Chinchilla de 70B. Le gain réel dépend de la fréquence à laquelle le modèle brouillon devine juste.

Peut-on activer le décodage spéculatif via une API ?

Pas dans une requête chat completions standard. C’est un choix de service fait par le fournisseur. Vous ne le voyez que sous forme de sortie plus rapide : mesurez donc les tokens par seconde sur vos propres prompts.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity