---
title: "Was ist FP8? 8-Bit-Gleitkomma für LLM-Inferenz | BroadRouter"
description: "FP8 ist ein 8-Bit-Gleitkommaformat (E4M3, E5M2), mit dem LLMs halb so viel Speicher brauchen wie mit 16 Bit. Unterschied zu INT8 und welche GPUs es unterstützen."
url: https://broadrouter.com/de/glossary/fp8/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/fp8/) (aktualisiert am 2026-11-14).

# FP8

Aktualisiert 2026-11-14

FP8 ist ein 8-Bit-Gleitkommaformat für Deep Learning, definiert in zwei Kodierungen: E4M3 mit 4 Exponenten- und 3 Mantissenbits und E5M2 mit 5 Exponenten- und 2 Mantissenbits. Es halbiert den Speicherbedarf gegenüber 16-Bit-Formaten und läuft auf aktuellen GPUs nativ.

Auch genannt: FP8, 8-Bit-Gleitkomma, 8-Bit-Gleitkommazahl, FP8-Quantisierung, E4M3, E5M2, W8A8 FP8, 8-bit floating point, FP8 quantization

FP8 ist das 8-Bit-Zahlenformat, das die meisten neuen GPUs nativ beherrschen. Beim Betrieb eines großen Modells ist es oft der erste Schritt unter 16 Bit.

## So funktioniert es

Eine Gleitkommazahl besteht aus Vorzeichen, Exponent und Mantisse. Das FP8-Paper von Micikevicius et al. definiert zwei Layouts mit je einem Vorzeichenbit:

| Kodierung | Exponentenbits | Mantissenbits | Abwägung |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | Mehr Präzision; vLLM nennt ein Maximum von ±448 |
| E5M2 | 5 | 2 | Weniger Präzision; vLLM nennt ein Maximum von ±57.344 |

E5M2 folgt bei Sonderwerten den Regeln von IEEE 754. E4M3 verzichtet auf Unendlich-Werte und behält nur ein einziges NaN-Muster, um seinen Wertebereich zu strecken. Beide haben nur 256 mögliche Werte; ein Skalierungsfaktor bildet daher jeden Tensor auf den Bereich ab, den das Format abdeckt.

Als Ziel der [Quantisierung](https://broadrouter.com/de/glossary/quantization/) wird FP8 meist als **W8A8** eingesetzt: Gewichte und Aktivierungen in 8 Bit, mit einem Skalierungsfaktor pro Tensor oder pro Block. Das Paper berichtet, dass FP8 bei Modellen bis 175B Parametern die Trainingsqualität von 16 Bit erreicht. Außerdem hält es fest, dass FP8-Quantisierung nach dem Training bei Sprachmodellen funktionierte, „that resisted fixed point int8 quantization“ (Übersetzung: „die sich der Festkomma-int8-Quantisierung widersetzten“), weil der Exponent besser mit Ausreißern umgeht.

FP8 taucht auch in anderen Formaten auf. Laut seiner Model Card speichert DeepSeek V4.1 Flash seinen Haupt-[KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) als 4-Bit-Gleitkommazahlen mit „one E4M3 scale per 16 channels“ (Übersetzung: „einer E4M3-Skala pro 16 Kanäle“).

## Warum es wichtig ist

Die vLLM-Dokumentation hält fest, dass FP8 „a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy“ (Übersetzung: „eine Halbierung des Speicherbedarfs des Modells und bis zu 1,6-fachen Durchsatz bei minimalen Auswirkungen auf die Genauigkeit“) bringt. Für einen Anbieter heißt das: Ein Modell passt auf weniger GPUs, oder dieselben GPUs bedienen mehr Anfragen gleichzeitig, was den [Durchsatz](https://broadrouter.com/de/glossary/throughput/) erhöht und die Kosten pro Token senkt.

Für API-Nutzer ist FP8 die milde Form der Quantisierung: vLLM berichtet minimale Auswirkungen auf die Genauigkeit, testen sollten Sie die Aufgaben, auf die Sie sich verlassen, trotzdem. Es ist ein weniger aggressiver Schritt als [INT4](https://broadrouter.com/de/glossary/int4/), das mehr Speicher spart, aber bei schwierigen Aufgaben mehr Risiko birgt.

## Bei BroadNet Inference

Laut dem [Modellkatalog](https://www.broadnet.ai/inference/models) von BroadNet speichert der Produktions-Build von Gemma 4 26B A4B den KV-Cache in FP8, mit [INT4](https://broadrouter.com/de/glossary/int4/)\-AWQ-Gewichten. Das ist BroadNets eigene Beschreibung; die API-Dokumentation nennt die Präzision der anderen Modelle nicht. Wenn ein genaues Zahlenformat für ein Audit oder einen regulierten Ablauf zählt, fragen Sie BroadNet direkt. Was sich auf Ihre Rechnung auswirkt, zeigen die Preise pro Token auf der [Preisseite](https://broadrouter.com/de/pricing/).

## Häufige Fragen

### Ist FP8 dasselbe wie INT8?

Nein. Beide nutzen 8 Bit, aber FP8 verwendet einige Bits für einen Exponenten und deckt so einen größeren Wertebereich ab, mit weniger Präzision dazwischen. INT8 verteilt seine 256 Stufen gleichmäßig und hängt stärker von guten Skalierungsfaktoren ab.

### Welche GPUs unterstützen FP8?

Laut vLLM-Dokumentation rechnen NVIDIA-GPUs mit Compute Capability 8.9 oder höher (Ada Lovelace, Hopper, Blackwell) und AMD MI300x in FP8. Ältere Turing- und Ampere-Karten können FP8-Gewichte laden, rechnen aber in 16 Bit.

### Worin unterscheidet sich FP8 von INT4?

FP8 nutzt 8 Bit mit Exponent und wird meist auf Gewichte und Aktivierungen angewendet. INT4 nutzt 16 gleichmäßig verteilte Ganzzahlstufen und wird meist nur auf Gewichte angewendet. INT4 spart mehr Speicher; FP8 birgt ein geringeres Genauigkeitsrisiko.

## Siehe auch

-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-fp8&utm_content=page-cta) ·

**Quellen**

-   [Modellkatalog von BroadNet (Gemma 4 26B A4B, FP8-KV-Cache) (auf Englisch)](https://www.broadnet.ai/inference/models)
-   [Micikevicius et al., FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM-Dokumentation, FP8-W8A8-Quantisierung](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, numerische Präzision](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, Model Card von DeepSeek-V4.1-Flash (E4M3-Skalen im FP4-KV-Cache)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
