Con INT4 la quantizzazione diventa aggressiva: ogni peso ha solo 16 valori possibili.
Come funziona
La guida alla precisione di TensorRT-LLM descrive la forma più comune, W4A16: i pesi sono quantizzati a 4 bit e dequantizzati “on-the-fly” (al volo) dentro la moltiplicazione di matrici, mentre le attivazioni restano in FP16 o BF16. TensorRT-LLM supporta fattori di scala per gruppo: ogni piccolo gruppo di pesi ha la propria scala, così i 16 livelli coprono l’intervallo giusto. L’esempio INT4 di vLLM salva un checkpoint W4A16-G128, un gruppo ogni 128 pesi.
Un semplice arrotondamento a 16 livelli perde troppo, quindi i metodi più diffusi sono più furbi:
- GPTQ usa informazioni approssimate del secondo ordine per scegliere arrotondamenti che limitano l’errore sull’output. L’articolo riporta 3 o 4 bit per peso con perdita trascurabile, abbastanza per far girare un modello da 175B su una sola GPU.
- AWQ parte dall’osservazione che “not all weights in an LLM are equally important” (traduzione: non tutti i pesi di un LLM sono ugualmente importanti). Proteggere circa l’1% dei canali salienti, individuati dalle statistiche delle attivazioni, riduce molto l’errore. Il suo runtime TinyChat riporta un’accelerazione di oltre 3 volte per i modelli a 4 bit sui dispositivi.
Perché è importante
Il risparmio di memoria è grande. A 0,5 byte per peso, i pesi di un modello occupano un quarto della loro dimensione a 16 bit. Per un modello da 25,2B parametri: 25,2B × 2 byte = 50,4 GB in BF16, contro 25,2B × 0,5 byte = 12,6 GB in INT4, più un po’ di spazio per i fattori di scala. La velocità di generazione è spesso limitata dalla rapidità con cui i pesi arrivano dalla memoria, quindi i pesi a 4 bit possono anche ridurre la latenza. La documentazione di vLLM dice che INT4 W4A16 è più utile per mantenere bassa la latenza “in workloads with low queries per second” (traduzione: nei carichi con poche query al secondo). Ad alto carico, il costo di dequantizzare i pesi pesa di più e il guadagno si riduce.
Con soli 16 livelli, l’errore di arrotondamento è più grande che con FP8, ed è proprio per questo che esistono GPTQ e AWQ. Un punteggio medio nei benchmark può nascondere perdite sui compiti che ti interessano, come ragionamenti lunghi, aritmetica esatta, codice o una lingua meno diffusa. Se una build INT4 va peggio della versione a 16 bit sul tuo set di test, credi al tuo test.
I modelli mixture of experts sono candidati frequenti per INT4, perché tutti gli esperti devono stare in memoria anche se per ogni token ne lavorano pochi.
Su BroadNet Inference
Il catalogo dei modelli di BroadNet dice che la sua build di produzione di Gemma 4 26B A4B (ID API broadnet/gemma-4-26b-a4b) usa pesi AWQ a 4 bit, con multi-token prediction e KV cache in FP8. È la descrizione di BroadNet stessa; la documentazione API non indica la precisione degli altri modelli. Se stai scegliendo tra ospitare in proprio un modello a 4 bit e chiamare un’API, il confronto dei costi del self-hosting e il calcolatore dei costi delle API LLM ti aiutano a confrontare i totali.