La plupart des modèles ouverts sont publiés avec des poids en 16 bits. La quantification réduit ces nombres pour qu’un modèle tienne sur moins de GPU.
Comment ça marche
Hugging Face décrit la quantification comme le fait de « representing weights and activations with lower-precision data types like 8-bit integers (int8) » (traduction : « représenter les poids et les activations avec des types de données de moindre précision, comme des entiers 8 bits (int8) »). Chaque bloc de poids reçoit un facteur d’échelle. Les poids sont arrondis à un petit nombre de niveaux, puis multipliés à nouveau par ce facteur à l’exécution.
La mémoire des poids est proportionnelle au nombre de bits par paramètre. Prenons Gemma 4 26B A4B de Google, qui compte 25,2B paramètres :
| Précision | Octets par poids | Poids seuls |
|---|---|---|
| 16 bits (BF16) | 2 | 25,2B × 2 = 50,4 Go |
| 8 bits (FP8 ou INT8) | 1 | 25,2 Go |
| 4 bits (INT4) | 0,5 | 12,6 Go |
Le cache KV et les activations demandent de la place en plus.
Les méthodes diffèrent par ce qu’elles quantifient et par la façon de choisir les niveaux :
- LLM.int8() divise par deux la mémoire d’inférence et garde quelques caractéristiques aberrantes en 16 bits ; l’article indique que plus de 99,9 % des valeurs utilisent tout de même des calculs en 8 bits.
- GPTQ est une méthode en une passe sur les poids, qui atteint 3 ou 4 bits par poids avec une « negligible accuracy degradation » (traduction : « dégradation négligeable de la précision ») et quantifie un modèle de 175B en environ quatre heures de GPU.
- Poids seuls ou poids et activations. Les formats limités aux poids économisent de la mémoire. Quantifier aussi les activations peut en plus accélérer les calculs matriciels sur le matériel qui le permet.
Pourquoi c’est important
Pour qui appelle une API, la quantification est invisible dans la requête, mais elle se voit à trois endroits. Le prix : des modèles plus petits demandent moins de GPU, ce qui réduit le coût de service. La vitesse : la génération est souvent limitée par la bande passante mémoire, donc moins d’octets par poids peut signifier plus de tokens par seconde. La qualité : moins de bits, c’est plus d’erreurs d’arrondi, et un modèle peut conserver son score moyen tout en faiblissant sur les tâches précises dont vous dépendez.
Si deux fournisseurs servant le « même » modèle ouvert donnent des résultats différents, la précision est une cause probable.
Sur BroadNet Inference
La référence de l’API de BroadNet n’indique pas la précision de service. Son catalogue de modèles présente la version de production de Gemma 4 26B A4B, proposée sous le nom BroadNet Gemma 4 VL 26B, avec des poids AWQ en 4 bits et un cache KV en FP8. Il n’indique pas la précision de l’API pour les autres modèles. Si la précision compte pour votre usage, faites passer le même jeu d’évaluation à chaque fournisseur ; la checklist pour évaluer un modèle avant de changer explique comment.