Le deuxième preprint de BroadNet sur Uno applique pour la première fois l’auto-drafting à un modèle mixture of experts. Publié sur Zenodo le 18 septembre 2026 sous le DOI 10.5281/zenodo.22820511, il sert Gemma 4 26B A4B en 4 bits et entraîne un adaptateur Uno pour ce modèle. La cible est le même modèle de base que BroadNet Gemma 4 VL 26B sur BroadNet Inference.
Il fait suite à l’étude Uno dans vLLM, qui testait un modèle dense de 8B. Les chiffres ci-dessous sont ceux de BroadNet ; nous ne les avons pas reproduits.
Quelle était la question ?
Le speculative decoding rédige plusieurs tokens à l’avance et les vérifie en une passe. Sur un modèle mixture of experts, il y a une inquiétude de plus : les lignes de draft peuvent être routées vers des experts différents, si bien que rédiger quatre tokens pourrait lire bien plus de poids d’experts que d’en générer un seul. L’article se demande si cet « éventail d’experts » rend l’auto-drafting trop coûteux, et quand l’auto-drafting bat un drafter séparé.
Comment BroadNet l’a-t-il testé ?
D’après le résumé de l’article et la description de méthode de BroadNet :
- Modèle : Gemma 4 26B A4B, environ 4B paramètres actifs par token, avec des poids en 4 bits.
- Matériel : GPU de la classe 24 Go, une séquence à la fois.
- Charge : 72 prompts issus du trafic de production de BroadNet ; chaque accélération est divisée par une exécution en décodage simple dans la même session.
- Contexte long : un jeu séparé de cinq prompts d’environ 10 500 tokens.
- Adaptateur : rang 16, entraîné sur 965 lignes via le même checkpoint 4 bits que celui servi, sur un seul GPU de 24 Go, sans poids en pleine précision dans la boucle.
Qu’a-t-il trouvé ?
| Comment Gemma 4 26B A4B a été décodé | Accélération par rapport au décodage simple |
|---|---|
| Décodage simple | 1,000 |
| Adaptateur pilote Uno, largeur 4 | 1,166 |
| Drafter multi-token prediction, largeur 2 | 1,474 |
| Drafter par blocs, largeur 8 | 1,553 |
| Uno à environ 10 500 tokens de contexte | 1,089 (drafter MTP : 1,011) |
Autres résultats rapportés par BroadNet :
- L’entraînement a aidé. La part acceptée est passée de 42,4 % à 48,9 % en 1 500 mises à jour, et un corpus plus grand de 2 000 lignes, entraîné avec la même recette, a fait accepter 0,49 token de draft de plus par étape de vérification que l’exécution de référence équivalente.
- L’éventail d’experts est réel mais bon marché. Quatre lignes de draft touchaient 22 experts distincts contre 8 pour une seule ligne, mais le coût total lié aux lignes restait borné à 0,53 étape sur un cycle d’environ 2,4. BroadNet conclut que le coût du routage est « worth under a fifth of a cycle » (traduction : « inférieur à un cinquième de cycle ») sur cette classe de matériel.
- Sans perte. BroadNet a construit une vérification pour un profil dont la sortie simple ne se reproduit pas d’une session à l’autre, et rapporte Uno « as close to plain as plain is to itself » (traduction : « aussi proche du décodage simple que celui-ci l’est de lui-même »).
- Cinq langues. L’article fournit ce qu’il présente comme la première mesure du taux d’acceptation de cet adaptateur dans cinq langues.
Qu’est-ce que cela signifie en pratique ?
La règle de l’article est simple : s’il existe un bon petit drafter pour votre modèle, utilisez-le ; l’auto-drafting trouve sa place en contexte long et sur les modèles sans drafter. Cela correspond à ce que BroadNet dit exploiter : son catalogue indique Gemma 4 26B en production avec un drafter multi-token prediction (k=2), avec « 90%+ acceptance on structured prompts » (traduction : « plus de 90 % d’acceptation sur des prompts structurés »).
Combien un drafter apporte-t-il en production ? Le catalogue de BroadNet rapporte que la multi-token prediction a ajouté 48,8 % sur une RTX 3090, et sa page Gemma 4 VL 26B indique environ 136 tokens par seconde sur un seul flux avec le speculative decoding activé. Ce sont deux mesures de BroadNet, sur la configuration de service décrite sur sa page modèle : votre vitesse via l’API dépend donc aussi de la charge et de la longueur de votre prompt et de la réponse.
Pour qui achète une API, la partie utile est la méthode, pas l’adaptateur. BroadNet dit que chaque modèle qu’il sert passe par ce calcul avant d’arriver chez un client : mesurer le coût d’un cycle de draft, puis choisir le drafter qui gagne sur la charge réelle. La même discipline l’a conduit à écarter EAGLE3 pour un service saturé.
Quelles sont les limites ?
- Un seul flux. Une séquence à la fois, une exécution par variante. Le service par lots se comporte autrement, comme l’a montré l’étude sur le modèle dense.
- Un seul modèle. Les résultats valent pour Gemma 4 26B A4B en 4 bits sur des cartes de la classe 24 Go.
- Un preprint. Version 2.3 sur Zenodo, non évaluée par les pairs, accompagnée d’une archive de preuves.
La version v0.3.0 de vllm-uno fournit le profil de service, une image de conteneur et le dossier de validation, pour que les chiffres puissent être vérifiés. Pour essayer le modèle servi lui-même, le playground dans le navigateur de BroadNet fait tourner Gemma 4 sans compte.
