Le FP8 est le format numérique 8 bits que la plupart des GPU récents gèrent nativement. C’est souvent la première étape en dessous du 16 bits quand on sert un grand modèle.
Comment ça marche
Un nombre à virgule flottante se compose d’un signe, d’un exposant et d’une mantisse. L’article sur le FP8 de Micikevicius et al. définit deux dispositions, chacune avec un bit de signe :
| Encodage | Bits d’exposant | Bits de mantisse | Compromis |
|---|---|---|---|
| E4M3 | 4 | 3 | Plus de précision ; vLLM indique un maximum de ±448 |
| E5M2 | 5 | 2 | Moins de précision ; vLLM indique un maximum de ±57 344 |
L’E5M2 suit les règles IEEE 754 pour les valeurs spéciales. L’E4M3 renonce aux infinis et ne garde qu’un seul motif NaN pour étendre sa plage. Les deux n’ont que 256 valeurs possibles : un facteur d’échelle ramène donc chaque tenseur dans la plage couverte par le format.
Comme cible de quantification, le FP8 s’applique généralement en W8A8 : poids et activations en 8 bits, avec un facteur d’échelle par tenseur ou par bloc. L’article rapporte que le FP8 égale la qualité d’entraînement du 16 bits sur des modèles jusqu’à 175B paramètres. Il note aussi que la quantification FP8 après entraînement a fonctionné sur des modèles de langage « that resisted fixed point int8 quantization » (traduction : « qui résistaient à la quantification int8 en virgule fixe »), car l’exposant gère mieux les valeurs aberrantes.
Le FP8 apparaît aussi à l’intérieur d’autres formats. La fiche de DeepSeek V4.1 Flash indique que son cache KV principal est stocké en flottants 4 bits avec « one E4M3 scale per 16 channels » (traduction : « une échelle E4M3 pour 16 canaux »).
Pourquoi c’est important
La documentation de vLLM indique que le FP8 apporte « a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy » (traduction : « une division par deux des besoins en mémoire du modèle et jusqu’à 1,6 fois plus de débit, avec un impact minimal sur la précision »). Pour un fournisseur, cela veut dire qu’un modèle tient sur moins de GPU, ou que les mêmes GPU traitent plus de requêtes à la fois, ce qui augmente le débit et réduit le coût par token.
Pour un utilisateur d’API, le FP8 est la forme douce de la quantification : vLLM rapporte un impact minimal sur la précision, mais testez quand même les tâches dont vous dépendez. C’est une étape moins agressive que l’INT4, qui économise plus de mémoire mais comporte plus de risques sur les tâches difficiles.
Sur BroadNet Inference
Le catalogue de modèles de BroadNet indique que son build de production de Gemma 4 26B A4B stocke le cache KV en FP8, avec des poids INT4 AWQ. C’est la description de BroadNet lui-même ; la documentation de l’API ne précise pas la précision des autres modèles. Si un format numérique exact compte pour un audit ou un processus réglementé, demandez directement à BroadNet. Pour ce qui pèse réellement sur votre facture, consultez les prix au token sur la page des tarifs.