FP8 è il formato numerico a 8 bit che la maggior parte delle GPU nuove supporta in modo nativo. Spesso è il primo passo sotto i 16 bit quando si serve un modello grande.
Come funziona
Un numero in virgola mobile ha un segno, un esponente e una mantissa. L’articolo su FP8 di Micikevicius et al. definisce due disposizioni, ciascuna con un bit di segno:
| Codifica | Bit di esponente | Bit di mantissa | Compromesso |
|---|---|---|---|
| E4M3 | 4 | 3 | Più precisione; vLLM indica un massimo di ±448 |
| E5M2 | 5 | 2 | Meno precisione; vLLM indica un massimo di ±57.344 |
E5M2 segue le regole IEEE 754 per i valori speciali. E4M3 rinuncia agli infiniti e tiene un solo schema NaN per allargare il proprio intervallo. Entrambi hanno solo 256 valori possibili, quindi un fattore di scala porta ogni tensore nell’intervallo coperto dal formato.
Come obiettivo di quantizzazione, FP8 si applica di solito come W8A8: pesi e attivazioni entrambi a 8 bit, con un fattore di scala per tensore o per blocco. L’articolo riporta che FP8 eguaglia la qualità dell’addestramento a 16 bit su modelli fino a 175B parametri. Nota anche che la quantizzazione post-training in FP8 ha funzionato su modelli linguistici “that resisted fixed point int8 quantization” (traduzione: che resistevano alla quantizzazione int8 a virgola fissa), perché l’esponente gestisce meglio gli outlier.
FP8 compare anche dentro altri formati. La card di DeepSeek per DeepSeek V4.1 Flash salva la sua KV cache principale in float a 4 bit con “one E4M3 scale per 16 channels” (traduzione: una scala E4M3 ogni 16 canali).
Perché è importante
La documentazione di vLLM afferma che FP8 offre “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (traduzione: una riduzione di 2 volte della memoria richiesta dal modello e un miglioramento fino a 1,6 volte del throughput, con un impatto minimo sull’accuratezza). Per un provider significa che un modello sta su meno GPU, oppure che le stesse GPU gestiscono più richieste insieme, il che alza il throughput e abbassa il costo per token.
Per chi usa un’API, FP8 è l’estremo leggero della quantizzazione: vLLM riporta un impatto minimo sull’accuratezza, anche se conviene comunque testare i compiti su cui fai affidamento. È un passo meno aggressivo di INT4, che fa risparmiare più memoria ma comporta più rischi sui compiti difficili.
Su BroadNet Inference
Il catalogo dei modelli di BroadNet dice che la sua build di produzione di Gemma 4 26B A4B salva la KV cache in FP8, con pesi AWQ INT4. È la descrizione di BroadNet; la documentazione API non indica la precisione degli altri modelli. Se un formato numerico esatto conta per un audit o un flusso di lavoro regolamentato, chiedilo direttamente a BroadNet. Per ciò che incide davvero sulla tua fattura, vedi i prezzi per token nella pagina dei prezzi.