BroadRouter
Inizia

INT4 (quantizzazione a 4 bit)

Aggiornato

INT4 è un formato numerico intero a 4 bit che può rappresentare 16 livelli. Nell’inferenza degli LLM indica di solito la quantizzazione a 4 bit dei soli pesi (W4A16): i pesi sono salvati in INT4 con fattori di scala ed espansi a 16 bit durante il calcolo, usando circa un quarto della memoria dei pesi a 16 bit.

Detto anche: quantizzazione a 4 bit, quantizzazione INT4, interi a 4 bit, LLM a 4 bit, modello a 4 bit, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

Con INT4 la quantizzazione diventa aggressiva: ogni peso ha solo 16 valori possibili.

Come funziona

La guida alla precisione di TensorRT-LLM descrive la forma più comune, W4A16: i pesi sono quantizzati a 4 bit e dequantizzati “on-the-fly” (al volo) dentro la moltiplicazione di matrici, mentre le attivazioni restano in FP16 o BF16. TensorRT-LLM supporta fattori di scala per gruppo: ogni piccolo gruppo di pesi ha la propria scala, così i 16 livelli coprono l’intervallo giusto. L’esempio INT4 di vLLM salva un checkpoint W4A16-G128, un gruppo ogni 128 pesi.

Un semplice arrotondamento a 16 livelli perde troppo, quindi i metodi più diffusi sono più furbi:

  • GPTQ usa informazioni approssimate del secondo ordine per scegliere arrotondamenti che limitano l’errore sull’output. L’articolo riporta 3 o 4 bit per peso con perdita trascurabile, abbastanza per far girare un modello da 175B su una sola GPU.
  • AWQ parte dall’osservazione che “not all weights in an LLM are equally important” (traduzione: non tutti i pesi di un LLM sono ugualmente importanti). Proteggere circa l’1% dei canali salienti, individuati dalle statistiche delle attivazioni, riduce molto l’errore. Il suo runtime TinyChat riporta un’accelerazione di oltre 3 volte per i modelli a 4 bit sui dispositivi.

Perché è importante

Il risparmio di memoria è grande. A 0,5 byte per peso, i pesi di un modello occupano un quarto della loro dimensione a 16 bit. Per un modello da 25,2B parametri: 25,2B × 2 byte = 50,4 GB in BF16, contro 25,2B × 0,5 byte = 12,6 GB in INT4, più un po’ di spazio per i fattori di scala. La velocità di generazione è spesso limitata dalla rapidità con cui i pesi arrivano dalla memoria, quindi i pesi a 4 bit possono anche ridurre la latenza. La documentazione di vLLM dice che INT4 W4A16 è più utile per mantenere bassa la latenza “in workloads with low queries per second” (traduzione: nei carichi con poche query al secondo). Ad alto carico, il costo di dequantizzare i pesi pesa di più e il guadagno si riduce.

Con soli 16 livelli, l’errore di arrotondamento è più grande che con FP8, ed è proprio per questo che esistono GPTQ e AWQ. Un punteggio medio nei benchmark può nascondere perdite sui compiti che ti interessano, come ragionamenti lunghi, aritmetica esatta, codice o una lingua meno diffusa. Se una build INT4 va peggio della versione a 16 bit sul tuo set di test, credi al tuo test.

I modelli mixture of experts sono candidati frequenti per INT4, perché tutti gli esperti devono stare in memoria anche se per ogni token ne lavorano pochi.

Su BroadNet Inference

Il catalogo dei modelli di BroadNet dice che la sua build di produzione di Gemma 4 26B A4B (ID API broadnet/gemma-4-26b-a4b) usa pesi AWQ a 4 bit, con multi-token prediction e KV cache in FP8. È la descrizione di BroadNet stessa; la documentazione API non indica la precisione degli altri modelli. Se stai scegliendo tra ospitare in proprio un modello a 4 bit e chiamare un’API, il confronto dei costi del self-hosting e il calcolatore dei costi delle API LLM ti aiutano a confrontare i totali.

Domande frequenti

Quanta memoria fa risparmiare INT4?

Ogni peso occupa mezzo byte invece di due, quindi circa un quarto della dimensione a 16 bit, più un piccolo overhead per i fattori di scala. Un modello da 25,2B parametri scende da circa 50,4 GB a circa 12,6 GB di pesi.

INT4 è la stessa cosa di NF4 o FP4?

No. Tutti e tre usano 4 bit, ma NF4 e FP4 distribuiscono i loro 16 livelli in modo non uniforme, mentre INT4 li spazia in modo uniforme. L’integrazione bitsandbytes di Hugging Face offre FP4 e NF4; i checkpoint GPTQ e AWQ di solito usano INT4.

INT4 rende un modello più veloce?

Spesso sì a basso carico, perché la generazione è limitata dalla lettura dei pesi dalla memoria e i pesi a 4 bit sono più piccoli. La documentazione di vLLM dice che INT4 W4A16 aiuta di più nei carichi con poche query al secondo; sotto carico intenso il guadagno si riduce.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity