Un modèle en 4 bits fait environ le quart de la taille de son original en 16 bits. L’AWQ est l’une des méthodes les plus utilisées pour y parvenir sans perdre beaucoup de qualité.
Comment ça marche
La quantification simple arrondit chaque poids à un petit ensemble de valeurs. Certains poids comptent plus que d’autres, et c’est en les arrondissant qu’on fait le plus de dégâts. Le constat central de l’article sur l’AWQ est que « Protecting only 1% salient weights can greatly reduce quantization error » (traduction : « protéger seulement 1 % de poids saillants peut réduire fortement l’erreur de quantification »), et que pour trouver ces poids « we should refer to the activation distribution, not weights » (traduction : « il faut se référer à la distribution des activations, pas aux poids »).
Les étapes, dans les grandes lignes :
- Faire passer un petit jeu de calibration dans le modèle en pleine précision et relever la taille des activations par canal.
- Agrandir les canaux de poids saillants par ce que l’article appelle « an equivalent transformation » (traduction : « une transformation équivalente »), pour que l’arrondi leur coûte moins tout en laissant la sortie de la couche inchangée. On évite ainsi une « hardware-inefficient mix-precision quantization » (traduction : « quantification en précision mixte peu efficace pour le matériel »).
- Arrondir tous les poids en basse précision, typiquement des entiers 4 bits avec un facteur d’échelle par groupe de poids.
L’article souligne que « AWQ does not rely on any backpropagation or reconstruction » (traduction : « l’AWQ ne repose sur aucune rétropropagation ni reconstruction »), si bien qu’elle « generalizes to different domains and modalities » (traduction : « se généralise à différents domaines et modalités ») sans surajuster le jeu de calibration. Il a reçu le Best Paper Award de MLSys 2024.
Dans vLLM, un checkpoint AWQ déjà quantifié se charge avec un seul argument :
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
La page de vLLM décrit le format comme réduisant les poids « from BF16/FP16 to INT4 » (traduction : « de BF16/FP16 à INT4 ») et prévient que « The AutoAWQ library is deprecated » (traduction : « la bibliothèque AutoAWQ est dépréciée ») ; les nouveaux modèles AWQ se produisent avec llm-compressor de vLLM.
Pourquoi c’est important
- Mémoire et coût. Des poids plus petits tiennent sur moins de GPU, ou des GPU moins chers, et laissent plus de mémoire au cache KV, donc plus de requêtes simultanées.
- Vitesse. Le décodage lit chaque poids pour chaque token : des poids plus petits peuvent donc accélérer la sortie. L’article indique que son runtime TinyChat offre « more than 3x speedup over the Huggingface FP16 implementation » (traduction : « une accélération de plus de 3x par rapport à l’implémentation FP16 de Huggingface »).
- Mêmes poids, résultats différents. Deux hébergeurs qui servent « le même modèle » peuvent utiliser des quantifications différentes. Demandez quel format sert un fournisseur quand vous comparez la qualité.
L’AWQ ne quantifie que les poids. Elle se distingue du FP8, qui peut aussi quantifier les activations, et du GGUF, un format de fichier doté de ses propres types de quantification pour llama.cpp.
Sur BroadNet Inference
BroadNet indique servir Gemma 4 VL 26B avec des poids AWQ 4 bits qu’il a quantifiés lui-même, avec un décodage spéculatif par prédiction multi-tokens (k=2) et un cache KV en fp8. Selon sa page de modèle, il a testé le NVFP4 puis l’a abandonné après une comparaison directe. BroadNet indique aussi que les mêmes poids Gemma 4 servis par un fournisseur hébergé ont obtenu en moyenne 0,13 de moins que son propre service (BroadNet ne précise ni la métrique ni l’échelle) ; l’article sur la flotte GPU et le service donne les détails. BroadNet ne publie pas le format de quantification de ses autres modèles d’API. Si vous comptez exécuter vous-même des poids AWQ, le guide auto-hébergement ou API fait le calcul.