BroadRouter
Inizia

FP8 (virgola mobile a 8 bit)

Aggiornato

FP8 è un formato numerico in virgola mobile a 8 bit usato nel deep learning, definito in due codifiche: E4M3, con 4 bit di esponente e 3 di mantissa, ed E5M2, con 5 bit di esponente e 2 di mantissa. Dimezza la memoria rispetto ai formati a 16 bit e gira in modo nativo sulle GPU recenti.

Detto anche: virgola mobile a 8 bit, floating point a 8 bit, quantizzazione FP8, 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

FP8 è il formato numerico a 8 bit che la maggior parte delle GPU nuove supporta in modo nativo. Spesso è il primo passo sotto i 16 bit quando si serve un modello grande.

Come funziona

Un numero in virgola mobile ha un segno, un esponente e una mantissa. L’articolo su FP8 di Micikevicius et al. definisce due disposizioni, ciascuna con un bit di segno:

Codifica Bit di esponente Bit di mantissa Compromesso
E4M3 4 3 Più precisione; vLLM indica un massimo di ±448
E5M2 5 2 Meno precisione; vLLM indica un massimo di ±57.344

E5M2 segue le regole IEEE 754 per i valori speciali. E4M3 rinuncia agli infiniti e tiene un solo schema NaN per allargare il proprio intervallo. Entrambi hanno solo 256 valori possibili, quindi un fattore di scala porta ogni tensore nell’intervallo coperto dal formato.

Come obiettivo di quantizzazione, FP8 si applica di solito come W8A8: pesi e attivazioni entrambi a 8 bit, con un fattore di scala per tensore o per blocco. L’articolo riporta che FP8 eguaglia la qualità dell’addestramento a 16 bit su modelli fino a 175B parametri. Nota anche che la quantizzazione post-training in FP8 ha funzionato su modelli linguistici “that resisted fixed point int8 quantization” (traduzione: che resistevano alla quantizzazione int8 a virgola fissa), perché l’esponente gestisce meglio gli outlier.

FP8 compare anche dentro altri formati. La card di DeepSeek per DeepSeek V4.1 Flash salva la sua KV cache principale in float a 4 bit con “one E4M3 scale per 16 channels” (traduzione: una scala E4M3 ogni 16 canali).

Perché è importante

La documentazione di vLLM afferma che FP8 offre “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (traduzione: una riduzione di 2 volte della memoria richiesta dal modello e un miglioramento fino a 1,6 volte del throughput, con un impatto minimo sull’accuratezza). Per un provider significa che un modello sta su meno GPU, oppure che le stesse GPU gestiscono più richieste insieme, il che alza il throughput e abbassa il costo per token.

Per chi usa un’API, FP8 è l’estremo leggero della quantizzazione: vLLM riporta un impatto minimo sull’accuratezza, anche se conviene comunque testare i compiti su cui fai affidamento. È un passo meno aggressivo di INT4, che fa risparmiare più memoria ma comporta più rischi sui compiti difficili.

Su BroadNet Inference

Il catalogo dei modelli di BroadNet dice che la sua build di produzione di Gemma 4 26B A4B salva la KV cache in FP8, con pesi AWQ INT4. È la descrizione di BroadNet; la documentazione API non indica la precisione degli altri modelli. Se un formato numerico esatto conta per un audit o un flusso di lavoro regolamentato, chiedilo direttamente a BroadNet. Per ciò che incide davvero sulla tua fattura, vedi i prezzi per token nella pagina dei prezzi.

Domande frequenti

FP8 è la stessa cosa di INT8?

No. Entrambi usano 8 bit, ma FP8 dedica alcuni bit a un esponente, quindi copre un intervallo di grandezze più ampio con meno precisione tra un valore e l’altro. INT8 distribuisce i suoi 256 livelli in modo uniforme e dipende di più da buoni fattori di scala.

Quali GPU supportano FP8?

La documentazione di vLLM indica il calcolo FP8 sulle GPU NVIDIA con compute capability 8.9 o superiore (Ada Lovelace, Hopper, Blackwell) e su AMD MI300x. Le schede Turing e Ampere più vecchie possono caricare pesi FP8 ma calcolano a 16 bit.

In cosa FP8 è diverso da INT4?

FP8 usa 8 bit con un esponente e di solito si applica a pesi e attivazioni. INT4 usa 16 livelli interi equidistanti e di solito si applica solo ai pesi. INT4 fa risparmiare più memoria; FP8 comporta meno rischi per l’accuratezza.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity