Avec INT4, la quantification devient agressive : chaque poids n’a plus que 16 valeurs possibles.
Comment ça marche
Le guide de précision de TensorRT-LLM décrit la forme courante, W4A16 : les poids sont quantifiés sur 4 bits et déquantifiés « on-the-fly » (à la volée) dans la multiplication matricielle, tandis que les activations restent en FP16 ou BF16. TensorRT-LLM prend en charge des facteurs d’échelle par groupe : chaque petit groupe de poids reçoit sa propre échelle, pour que les 16 niveaux couvrent la bonne plage. L’exemple INT4 de vLLM enregistre un checkpoint W4A16-G128, soit un groupe pour 128 poids.
Arrondir simplement à 16 niveaux fait perdre trop d’information, d’où des méthodes plus astucieuses :
- GPTQ utilise une information approchée du second ordre pour choisir des arrondis qui limitent l’erreur en sortie. L’article rapporte 3 ou 4 bits par poids avec une perte négligeable, assez pour faire tourner un modèle de 175 milliards de paramètres sur un seul GPU.
- AWQ part du constat que « not all weights in an LLM are equally important » (traduction : « tous les poids d’un LLM n’ont pas la même importance »). Protéger environ 1 % de canaux saillants, repérés grâce aux statistiques d’activation, réduit fortement l’erreur. Son runtime TinyChat annonce une accélération de plus de 3 fois pour les modèles 4 bits sur appareil.
Pourquoi c’est important
Le gain de mémoire est important. À 0,5 octet par poids, les poids d’un modèle occupent un quart de leur taille en 16 bits. Pour un modèle de 25,2 milliards de paramètres : 25,2 milliards × 2 octets = 50,4 Go en BF16, contre 25,2 milliards × 0,5 octet = 12,6 Go en INT4, plus un peu pour les facteurs d’échelle. La vitesse de génération est souvent limitée par le débit de lecture des poids en mémoire : des poids sur 4 bits peuvent donc aussi réduire la latence. La documentation de vLLM indique qu’INT4 W4A16 est surtout utile pour garder une latence faible « in workloads with low queries per second » (traduction : « dans les charges avec peu de requêtes par seconde »). À forte charge, le coût de la déquantification des poids pèse davantage et le gain diminue.
Avec seulement 16 niveaux, l’erreur d’arrondi est plus grande qu’en FP8, et c’est précisément pour cela que GPTQ et AWQ existent. Un score moyen de benchmark peut masquer des pertes sur les tâches qui vous importent, comme le raisonnement long, l’arithmétique exacte, le code ou une langue moins courante. Si une version INT4 fait moins bien que la version 16 bits sur votre propre jeu de test, fiez-vous à votre test.
Les modèles mixture of experts sont souvent candidats à INT4, car tous les experts doivent tenir en mémoire même si peu d’entre eux tournent pour chaque token.
Sur BroadNet Inference
Le catalogue des modèles de BroadNet indique que sa version de production de Gemma 4 26B A4B (ID d’API broadnet/gemma-4-26b-a4b) utilise des poids AWQ 4 bits, avec multi-token prediction et un cache KV en FP8. C’est la description de BroadNet elle-même ; la documentation de l’API n’indique pas la précision des autres modèles. Si vous hésitez entre auto-héberger un modèle 4 bits et appeler une API, la comparaison des coûts d’auto-hébergement et le calculateur de coût d’API LLM vous aident à comparer les totaux.