La maggior parte dei modelli open viene distribuita con pesi a 16 bit. La quantizzazione rimpicciolisce quei numeri, così il modello sta su meno GPU.
Come funziona
Hugging Face descrive la quantizzazione come “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (traduzione: rappresentare pesi e attivazioni con tipi di dati a precisione più bassa, come gli interi a 8 bit, int8). Ogni blocco di pesi riceve un fattore di scala. I pesi vengono arrotondati a un piccolo insieme di livelli e, durante l’esecuzione, moltiplicati di nuovo per la scala.
La memoria per i pesi cresce con i bit per parametro. Prendi Gemma 4 26B A4B di Google, che ha 25,2B parametri:
| Precisione | Byte per peso | Solo pesi |
|---|---|---|
| 16 bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8 bit (FP8 o INT8) | 1 | 25,2 GB |
| 4 bit (INT4) | 0,5 | 12,6 GB |
La KV cache e le attivazioni richiedono spazio in più.
I metodi si distinguono per cosa quantizzano e per come scelgono i livelli:
- LLM.int8() dimezza la memoria per l’inferenza e mantiene a 16 bit poche feature anomale (outlier); l’articolo dice che oltre il 99,9% dei valori usa comunque calcoli a 8 bit.
- GPTQ è un metodo one-shot sui pesi che arriva a 3 o 4 bit per peso con “negligible accuracy degradation” (traduzione: un degrado di accuratezza trascurabile), e quantizza un modello da 175B in circa quattro ore di GPU.
- Solo pesi o pesi e attivazioni. I formati solo pesi fanno risparmiare memoria. Quantizzare anche le attivazioni può accelerare il calcolo matriciale sull’hardware che lo supporta.
Perché è importante
Per chi chiama un’API, la quantizzazione è invisibile nella richiesta ma emerge in tre punti. Prezzo: i modelli più piccoli richiedono meno GPU, il che abbassa il costo di serving. Velocità: la generazione è spesso limitata dalla banda di memoria, quindi meno byte per peso possono significare più token al secondo. Qualità: meno bit significano più errore di arrotondamento, e un modello può mantenere il punteggio medio pur peggiorando proprio sui compiti che ti interessano.
Se confronti due provider che servono lo “stesso” modello open e ottieni risultati diversi, la precisione è una delle cause probabili.
Su BroadNet Inference
Il riferimento API di BroadNet non indica la precisione di serving. Il suo catalogo dei modelli elenca la build di produzione di Gemma 4 26B A4B, offerta come BroadNet Gemma 4 VL 26B, con pesi AWQ a 4 bit e KV cache in FP8. Non indica la precisione via API degli altri modelli. Se la precisione conta per il tuo caso, esegui lo stesso set di valutazione su ogni provider; la checklist per valutare un modello prima di cambiarlo spiega come.