---
title: "Cos’è la quantizzazione degli LLM? Meno bit per peso"
description: "La quantizzazione salva i pesi di un LLM, e a volte le attivazioni, con meno bit per risparmiare memoria GPU e accelerare l’inferenza. Formati, calcoli e qualità."
url: https://broadrouter.com/it/glossary/quantization/
lang: it
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/quantization/) (aggiornato il 2026-11-14).

# Quantizzazione (quantization)

Aggiornato 2026-11-14

La quantizzazione è il processo con cui si memorizzano i numeri di una rete neurale, soprattutto i pesi, in un formato a precisione ridotta come 8 o 4 bit invece di 16 bit, così il modello usa meno memoria e spesso gira più veloce. I metodi validi mantengono piccola la perdita di accuratezza.

Detto anche: quantizzazione, quantizzazione dei modelli, quantizzazione LLM, modello quantizzato, quantizzazione dei pesi, quantization, model quantization, LLM quantization, quantized model, weight quantization

La maggior parte dei modelli open viene distribuita con pesi a 16 bit. La quantizzazione rimpicciolisce quei numeri, così il modello sta su meno GPU.

## Come funziona

Hugging Face descrive la quantizzazione come “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (traduzione: rappresentare pesi e attivazioni con tipi di dati a precisione più bassa, come gli interi a 8 bit, int8). Ogni blocco di pesi riceve un fattore di scala. I pesi vengono arrotondati a un piccolo insieme di livelli e, durante l’esecuzione, moltiplicati di nuovo per la scala.

La memoria per i pesi cresce con i bit per parametro. Prendi Gemma 4 26B A4B di Google, che ha 25,2B parametri:

| Precisione | Byte per peso | Solo pesi |
| --- | --- | --- |
| 16 bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8 bit ([FP8](https://broadrouter.com/it/glossary/fp8/) o INT8) | 1 | 25,2 GB |
| 4 bit ([INT4](https://broadrouter.com/it/glossary/int4/)) | 0,5 | 12,6 GB |

La [KV cache](https://broadrouter.com/it/glossary/kv-cache/) e le attivazioni richiedono spazio in più.

I metodi si distinguono per cosa quantizzano e per come scelgono i livelli:

-   **LLM.int8()** dimezza la memoria per l’inferenza e mantiene a 16 bit poche feature anomale (outlier); l’articolo dice che oltre il 99,9% dei valori usa comunque calcoli a 8 bit.
-   **GPTQ** è un metodo one-shot sui pesi che arriva a 3 o 4 bit per peso con “negligible accuracy degradation” (traduzione: un degrado di accuratezza trascurabile), e quantizza un modello da 175B in circa quattro ore di GPU.
-   **Solo pesi o pesi e attivazioni.** I formati solo pesi fanno risparmiare memoria. Quantizzare anche le attivazioni può accelerare il calcolo matriciale sull’hardware che lo supporta.

## Perché è importante

Per chi chiama un’API, la quantizzazione è invisibile nella richiesta ma emerge in tre punti. Prezzo: i modelli più piccoli richiedono meno GPU, il che abbassa il costo di serving. Velocità: la generazione è spesso limitata dalla banda di memoria, quindi meno byte per peso possono significare più [token al secondo](https://broadrouter.com/it/glossary/tokens-per-second/). Qualità: meno bit significano più errore di arrotondamento, e un modello può mantenere il punteggio medio pur peggiorando proprio sui compiti che ti interessano.

Se confronti due provider che servono lo “stesso” modello open e ottieni risultati diversi, la precisione è una delle cause probabili.

## Su BroadNet Inference

Il riferimento API di BroadNet non indica la precisione di serving. Il suo catalogo dei modelli elenca la build di produzione di Gemma 4 26B A4B, offerta come [BroadNet Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/), con pesi AWQ a 4 bit e KV cache in FP8. Non indica la precisione via API degli altri modelli. Se la precisione conta per il tuo caso, esegui lo stesso set di valutazione su ogni provider; la [checklist per valutare un modello prima di cambiarlo](https://broadrouter.com/it/blog/evaluate-llm-before-switching/) spiega come.

## Domande frequenti

### La quantizzazione peggiora il modello?

A volte di poco. LLM.int8() non riporta alcun degrado per l’inferenza a 8 bit fino a 175B parametri, e GPTQ riporta una perdita trascurabile a 3 o 4 bit per peso. Meno bit e compiti più difficili aumentano il rischio, quindi fai prove sui tuoi prompt.

### Posso capire se un’API serve un modello quantizzato?

Di solito solo se il provider lo dichiara. L’API restituisce lo stesso formato di risposta in entrambi i casi, quindi confronta gli output sui tuoi test e chiedi al provider quale precisione usa.

### Quanta memoria fa risparmiare la quantizzazione?

La memoria dei pesi cresce con i bit per peso. Un modello da 25,2B parametri richiede circa 50,4 GB a 16 bit, 25,2 GB a 8 bit e 12,6 GB a 4 bit, prima di KV cache e attivazioni.

## Vedi anche

-   [FP8 (virgola mobile a 8 bit)](https://broadrouter.com/it/glossary/fp8/) (termine)
-   [INT4 (quantizzazione a 4 bit)](https://broadrouter.com/it/glossary/int4/) (termine)
-   [KV cache (cache chiave-valore)](https://broadrouter.com/it/glossary/kv-cache/) (termine)
-   [Mixture of experts (MoE)](https://broadrouter.com/it/glossary/mixture-of-experts/) (termine)
-   [Modello open-weight (a pesi aperti)](https://broadrouter.com/it/glossary/open-weight-model/) (termine)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/it/glossary/awq/) (termine)
-   [GGUF (formato dei modelli llama.cpp)](https://broadrouter.com/it/glossary/gguf/) (termine)
-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/) (guida)
-   [Modelli AI open-weight o chiusi in azienda: costi, controllo, rischi](https://broadrouter.com/it/blog/open-weight-vs-closed-models/) (articolo)
-   [LLM in self-hosting o via API: costo reale e punto di pareggio](https://broadrouter.com/it/blog/self-hosting-llm-vs-api-cost/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-quantization&utm_content=page-cta) ·

**Fonti**

-   [Hugging Face Transformers, riferimento sulla quantizzazione](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers et al., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar et al., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, model card di Gemma 4 26B A4B (numero di parametri)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Catalogo dei modelli di BroadNet (misure di laboratorio, settembre 2026) (in inglese)](https://www.broadnet.ai/inference/models)
