BroadRouter
Inizia

Quantizzazione (quantization)

Aggiornato

La quantizzazione è il processo con cui si memorizzano i numeri di una rete neurale, soprattutto i pesi, in un formato a precisione ridotta come 8 o 4 bit invece di 16 bit, così il modello usa meno memoria e spesso gira più veloce. I metodi validi mantengono piccola la perdita di accuratezza.

Detto anche: quantizzazione, quantizzazione dei modelli, quantizzazione LLM, modello quantizzato, quantizzazione dei pesi, quantization, model quantization, LLM quantization, quantized model, weight quantization

La maggior parte dei modelli open viene distribuita con pesi a 16 bit. La quantizzazione rimpicciolisce quei numeri, così il modello sta su meno GPU.

Come funziona

Hugging Face descrive la quantizzazione come “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (traduzione: rappresentare pesi e attivazioni con tipi di dati a precisione più bassa, come gli interi a 8 bit, int8). Ogni blocco di pesi riceve un fattore di scala. I pesi vengono arrotondati a un piccolo insieme di livelli e, durante l’esecuzione, moltiplicati di nuovo per la scala.

La memoria per i pesi cresce con i bit per parametro. Prendi Gemma 4 26B A4B di Google, che ha 25,2B parametri:

Precisione Byte per peso Solo pesi
16 bit (BF16) 2 25,2B × 2 = 50,4 GB
8 bit (FP8 o INT8) 1 25,2 GB
4 bit (INT4) 0,5 12,6 GB

La KV cache e le attivazioni richiedono spazio in più.

I metodi si distinguono per cosa quantizzano e per come scelgono i livelli:

  • LLM.int8() dimezza la memoria per l’inferenza e mantiene a 16 bit poche feature anomale (outlier); l’articolo dice che oltre il 99,9% dei valori usa comunque calcoli a 8 bit.
  • GPTQ è un metodo one-shot sui pesi che arriva a 3 o 4 bit per peso con “negligible accuracy degradation” (traduzione: un degrado di accuratezza trascurabile), e quantizza un modello da 175B in circa quattro ore di GPU.
  • Solo pesi o pesi e attivazioni. I formati solo pesi fanno risparmiare memoria. Quantizzare anche le attivazioni può accelerare il calcolo matriciale sull’hardware che lo supporta.

Perché è importante

Per chi chiama un’API, la quantizzazione è invisibile nella richiesta ma emerge in tre punti. Prezzo: i modelli più piccoli richiedono meno GPU, il che abbassa il costo di serving. Velocità: la generazione è spesso limitata dalla banda di memoria, quindi meno byte per peso possono significare più token al secondo. Qualità: meno bit significano più errore di arrotondamento, e un modello può mantenere il punteggio medio pur peggiorando proprio sui compiti che ti interessano.

Se confronti due provider che servono lo “stesso” modello open e ottieni risultati diversi, la precisione è una delle cause probabili.

Su BroadNet Inference

Il riferimento API di BroadNet non indica la precisione di serving. Il suo catalogo dei modelli elenca la build di produzione di Gemma 4 26B A4B, offerta come BroadNet Gemma 4 VL 26B, con pesi AWQ a 4 bit e KV cache in FP8. Non indica la precisione via API degli altri modelli. Se la precisione conta per il tuo caso, esegui lo stesso set di valutazione su ogni provider; la checklist per valutare un modello prima di cambiarlo spiega come.

Domande frequenti

La quantizzazione peggiora il modello?

A volte di poco. LLM.int8() non riporta alcun degrado per l’inferenza a 8 bit fino a 175B parametri, e GPTQ riporta una perdita trascurabile a 3 o 4 bit per peso. Meno bit e compiti più difficili aumentano il rischio, quindi fai prove sui tuoi prompt.

Posso capire se un’API serve un modello quantizzato?

Di solito solo se il provider lo dichiara. L’API restituisce lo stesso formato di risposta in entrambi i casi, quindi confronta gli output sui tuoi test e chiedi al provider quale precisione usa.

Quanta memoria fa risparmiare la quantizzazione?

La memoria dei pesi cresce con i bit per peso. Un modello da 25,2B parametri richiede circa 50,4 GB a 16 bit, 25,2 GB a 8 bit e 12,6 GB a 4 bit, prima di KV cache e attivazioni.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity