FP8 ist das 8-Bit-Zahlenformat, das die meisten neuen GPUs nativ beherrschen. Beim Betrieb eines großen Modells ist es oft der erste Schritt unter 16 Bit.
So funktioniert es
Eine Gleitkommazahl besteht aus Vorzeichen, Exponent und Mantisse. Das FP8-Paper von Micikevicius et al. definiert zwei Layouts mit je einem Vorzeichenbit:
| Kodierung | Exponentenbits | Mantissenbits | Abwägung |
|---|---|---|---|
| E4M3 | 4 | 3 | Mehr Präzision; vLLM nennt ein Maximum von ±448 |
| E5M2 | 5 | 2 | Weniger Präzision; vLLM nennt ein Maximum von ±57.344 |
E5M2 folgt bei Sonderwerten den Regeln von IEEE 754. E4M3 verzichtet auf Unendlich-Werte und behält nur ein einziges NaN-Muster, um seinen Wertebereich zu strecken. Beide haben nur 256 mögliche Werte; ein Skalierungsfaktor bildet daher jeden Tensor auf den Bereich ab, den das Format abdeckt.
Als Ziel der Quantisierung wird FP8 meist als W8A8 eingesetzt: Gewichte und Aktivierungen in 8 Bit, mit einem Skalierungsfaktor pro Tensor oder pro Block. Das Paper berichtet, dass FP8 bei Modellen bis 175B Parametern die Trainingsqualität von 16 Bit erreicht. Außerdem hält es fest, dass FP8-Quantisierung nach dem Training bei Sprachmodellen funktionierte, „that resisted fixed point int8 quantization“ (Übersetzung: „die sich der Festkomma-int8-Quantisierung widersetzten“), weil der Exponent besser mit Ausreißern umgeht.
FP8 taucht auch in anderen Formaten auf. Laut seiner Model Card speichert DeepSeek V4.1 Flash seinen Haupt-KV-Cache als 4-Bit-Gleitkommazahlen mit „one E4M3 scale per 16 channels“ (Übersetzung: „einer E4M3-Skala pro 16 Kanäle“).
Warum es wichtig ist
Die vLLM-Dokumentation hält fest, dass FP8 „a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy“ (Übersetzung: „eine Halbierung des Speicherbedarfs des Modells und bis zu 1,6-fachen Durchsatz bei minimalen Auswirkungen auf die Genauigkeit“) bringt. Für einen Anbieter heißt das: Ein Modell passt auf weniger GPUs, oder dieselben GPUs bedienen mehr Anfragen gleichzeitig, was den Durchsatz erhöht und die Kosten pro Token senkt.
Für API-Nutzer ist FP8 die milde Form der Quantisierung: vLLM berichtet minimale Auswirkungen auf die Genauigkeit, testen sollten Sie die Aufgaben, auf die Sie sich verlassen, trotzdem. Es ist ein weniger aggressiver Schritt als INT4, das mehr Speicher spart, aber bei schwierigen Aufgaben mehr Risiko birgt.
Bei BroadNet Inference
Laut dem Modellkatalog von BroadNet speichert der Produktions-Build von Gemma 4 26B A4B den KV-Cache in FP8, mit INT4-AWQ-Gewichten. Das ist BroadNets eigene Beschreibung; die API-Dokumentation nennt die Präzision der anderen Modelle nicht. Wenn ein genaues Zahlenformat für ein Audit oder einen regulierten Ablauf zählt, fragen Sie BroadNet direkt. Was sich auf Ihre Rechnung auswirkt, zeigen die Preise pro Token auf der Preisseite.