---
title: "Cos’è la quantizzazione INT4? Pesi LLM a 4 bit | BroadRouter"
description: "INT4 salva ogni peso di un LLM come intero a 4 bit, un quarto della dimensione a 16 bit. Come funzionano la quantizzazione a 4 bit solo pesi, GPTQ e AWQ, e i rischi."
url: https://broadrouter.com/it/glossary/int4/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/int4/) (aggiornato il 2026-11-16).

# INT4 (quantizzazione a 4 bit)

Aggiornato 2026-11-16

INT4 è un formato numerico intero a 4 bit che può rappresentare 16 livelli. Nell’inferenza degli LLM indica di solito la quantizzazione a 4 bit dei soli pesi (W4A16): i pesi sono salvati in INT4 con fattori di scala ed espansi a 16 bit durante il calcolo, usando circa un quarto della memoria dei pesi a 16 bit.

Detto anche: quantizzazione a 4 bit, quantizzazione INT4, interi a 4 bit, LLM a 4 bit, modello a 4 bit, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

Con INT4 la quantizzazione diventa aggressiva: ogni peso ha solo 16 valori possibili.

## Come funziona

La guida alla precisione di TensorRT-LLM descrive la forma più comune, **W4A16**: i pesi sono quantizzati a 4 bit e dequantizzati “on-the-fly” (al volo) dentro la moltiplicazione di matrici, mentre le attivazioni restano in FP16 o BF16. TensorRT-LLM supporta fattori di scala per gruppo: ogni piccolo gruppo di pesi ha la propria scala, così i 16 livelli coprono l’intervallo giusto. L’esempio INT4 di vLLM salva un checkpoint `W4A16-G128`, un gruppo ogni 128 pesi.

Un semplice arrotondamento a 16 livelli perde troppo, quindi i metodi più diffusi sono più furbi:

-   **GPTQ** usa informazioni approssimate del secondo ordine per scegliere arrotondamenti che limitano l’errore sull’output. L’articolo riporta 3 o 4 bit per peso con perdita trascurabile, abbastanza per far girare un modello da 175B su una sola GPU.
-   **AWQ** parte dall’osservazione che “not all weights in an LLM are equally important” (traduzione: non tutti i pesi di un LLM sono ugualmente importanti). Proteggere circa l’1% dei canali salienti, individuati dalle statistiche delle attivazioni, riduce molto l’errore. Il suo runtime TinyChat riporta un’accelerazione di oltre 3 volte per i modelli a 4 bit sui dispositivi.

## Perché è importante

Il risparmio di memoria è grande. A 0,5 byte per peso, i pesi di un modello occupano un quarto della loro dimensione a 16 bit. Per un modello da 25,2B parametri: 25,2B × 2 byte = 50,4 GB in BF16, contro 25,2B × 0,5 byte = 12,6 GB in INT4, più un po’ di spazio per i fattori di scala. La velocità di generazione è spesso limitata dalla rapidità con cui i pesi arrivano dalla memoria, quindi i pesi a 4 bit possono anche ridurre la [latenza](https://broadrouter.com/it/glossary/latency/). La documentazione di vLLM dice che INT4 W4A16 è più utile per mantenere bassa la latenza “in workloads with low queries per second” (traduzione: nei carichi con poche query al secondo). Ad alto carico, il costo di dequantizzare i pesi pesa di più e il guadagno si riduce.

Con soli 16 livelli, l’errore di arrotondamento è più grande che con [FP8](https://broadrouter.com/it/glossary/fp8/), ed è proprio per questo che esistono GPTQ e AWQ. Un punteggio medio nei benchmark può nascondere perdite sui compiti che ti interessano, come ragionamenti lunghi, aritmetica esatta, codice o una lingua meno diffusa. Se una build INT4 va peggio della versione a 16 bit sul tuo set di test, credi al tuo test.

I modelli [mixture of experts](https://broadrouter.com/it/glossary/mixture-of-experts/) sono candidati frequenti per INT4, perché tutti gli esperti devono stare in memoria anche se per ogni token ne lavorano pochi.

## Su BroadNet Inference

Il [catalogo dei modelli](https://www.broadnet.ai/inference/models) di BroadNet dice che la sua build di produzione di Gemma 4 26B A4B (ID API `broadnet/gemma-4-26b-a4b`) usa pesi AWQ a 4 bit, con multi-token prediction e KV cache in FP8. È la descrizione di BroadNet stessa; la documentazione API non indica la precisione degli altri modelli. Se stai scegliendo tra ospitare in proprio un modello a 4 bit e chiamare un’API, il [confronto dei costi del self-hosting](https://broadrouter.com/it/blog/self-hosting-llm-vs-api-cost/) e il [calcolatore dei costi delle API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) ti aiutano a confrontare i totali.

## Domande frequenti

### Quanta memoria fa risparmiare INT4?

Ogni peso occupa mezzo byte invece di due, quindi circa un quarto della dimensione a 16 bit, più un piccolo overhead per i fattori di scala. Un modello da 25,2B parametri scende da circa 50,4 GB a circa 12,6 GB di pesi.

### INT4 è la stessa cosa di NF4 o FP4?

No. Tutti e tre usano 4 bit, ma NF4 e FP4 distribuiscono i loro 16 livelli in modo non uniforme, mentre INT4 li spazia in modo uniforme. L’integrazione bitsandbytes di Hugging Face offre FP4 e NF4; i checkpoint GPTQ e AWQ di solito usano INT4.

### INT4 rende un modello più veloce?

Spesso sì a basso carico, perché la generazione è limitata dalla lettura dei pesi dalla memoria e i pesi a 4 bit sono più piccoli. La documentazione di vLLM dice che INT4 W4A16 aiuta di più nei carichi con poche query al secondo; sotto carico intenso il guadagno si riduce.

## Vedi anche

-   [Quantizzazione (quantization)](https://broadrouter.com/it/glossary/quantization/) (termine)
-   [FP8 (virgola mobile a 8 bit)](https://broadrouter.com/it/glossary/fp8/) (termine)
-   [Mixture of experts (MoE)](https://broadrouter.com/it/glossary/mixture-of-experts/) (termine)
-   [Latenza (latency)](https://broadrouter.com/it/glossary/latency/) (termine)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/it/glossary/awq/) (termine)
-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/) (guida)
-   [LLM in self-hosting o via API: costo reale e punto di pareggio](https://broadrouter.com/it/blog/self-hosting-llm-vs-api-cost/) (articolo)
-   [Modelli AI open-weight o chiusi in azienda: costi, controllo, rischi](https://broadrouter.com/it/blog/open-weight-vs-closed-models/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-int4&utm_content=page-cta) ·

**Fonti**

-   [Catalogo dei modelli di BroadNet (Gemma 4 26B A4B, AWQ a 4 bit) (in inglese)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, precisione numerica (INT4 e INT8 solo pesi)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin et al., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar et al., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Documentazione di vLLM, quantizzazione INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Documentazione di Hugging Face Transformers, bitsandbytes (tipi a 4 bit NF4 e FP4) (verificata il 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
