---
title: "Was ist INT4-Quantisierung? 4-Bit-Gewichte bei LLMs | BroadRouter"
description: "INT4 speichert jedes LLM-Gewicht als 4-Bit-Ganzzahl, ein Viertel der 16-Bit-Größe. So funktionieren 4-Bit-Quantisierung, GPTQ und AWQ, plus Qualitätsrisiken."
url: https://broadrouter.com/de/glossary/int4/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/int4/) (aktualisiert am 2026-11-16).

# INT4 (4-Bit-Quantisierung)

Aktualisiert 2026-11-16

INT4 ist ein 4-Bit-Ganzzahlformat mit 16 darstellbaren Stufen. Bei der LLM-Inferenz meint es meist 4-Bit-Weight-only-Quantisierung (W4A16): Gewichte werden als INT4 mit Skalierungsfaktoren gespeichert und bei der Berechnung auf 16 Bit erweitert. Sie belegen etwa ein Viertel des Speichers von 16-Bit-Gewichten.

Auch genannt: INT4, 4-Bit-Quantisierung, 4-Bit-Ganzzahl, 4-Bit-LLM, W4A16, INT4 Weight-only, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

Mit INT4 wird Quantisierung aggressiv: Jedes Gewicht hat nur noch 16 mögliche Werte.

## So funktioniert es

Der Precision-Leitfaden von TensorRT-LLM beschreibt die gängige Form, **W4A16**: Die Gewichte werden auf 4 Bit quantisiert und innerhalb der Matrixmultiplikation „on-the-fly“ (im laufenden Betrieb) dequantisiert, während die Aktivierungen in FP16 oder BF16 bleiben. TensorRT-LLM unterstützt Skalierungsfaktoren pro Gruppe: Jede kleine Gruppe von Gewichten erhält eine eigene Skala, damit die 16 Stufen den richtigen Wertebereich abdecken. Das INT4-Beispiel von vLLM speichert einen Checkpoint `W4A16-G128`, eine Gruppe pro 128 Gewichte.

Schlichtes Runden auf 16 Stufen verliert zu viel, deshalb gehen die verbreiteten Methoden geschickter vor:

-   **GPTQ** nutzt genäherte Informationen zweiter Ordnung, um Rundungen zu wählen, die den Fehler in der Ausgabe begrenzen. Das Paper berichtet 3 oder 4 Bit pro Gewicht bei vernachlässigbarem Verlust, genug, um ein Modell mit 175 Mrd. Parametern auf einer einzigen GPU auszuführen.
-   **AWQ** stellt fest: „not all weights in an LLM are equally important“ (Übersetzung: „nicht alle Gewichte in einem LLM sind gleich wichtig“). Werden etwa 1 % besonders relevanter Kanäle geschützt, die anhand von Aktivierungsstatistiken gefunden werden, sinkt der Fehler stark. Die Laufzeitumgebung TinyChat berichtet für 4-Bit-Modelle auf Endgeräten eine mehr als dreifache Beschleunigung.

## Warum es wichtig ist

Die Speicherersparnis ist groß. Bei 0,5 Byte pro Gewicht belegen die Gewichte eines Modells ein Viertel ihrer 16-Bit-Größe. Für ein Modell mit 25,2 Mrd. Parametern: 25,2 Mrd. × 2 Byte = 50,4 GB in BF16, gegenüber 25,2 Mrd. × 0,5 Byte = 12,6 GB in INT4, plus etwas für die Skalierungsfaktoren. Die Generierungsgeschwindigkeit ist oft dadurch begrenzt, wie schnell die Gewichte aus dem Speicher fließen, daher können 4-Bit-Gewichte auch die [Latenz](https://broadrouter.com/de/glossary/latency/) senken. Laut der Dokumentation von vLLM ist INT4 W4A16 am nützlichsten, um die Latenz niedrig zu halten, „in workloads with low queries per second“ (Übersetzung: „bei Workloads mit wenigen Anfragen pro Sekunde“). Unter hoher Last fallen die Kosten der Dequantisierung stärker ins Gewicht, und der Gewinn schrumpft.

Mit nur 16 Stufen ist der Rundungsfehler größer als bei [FP8](https://broadrouter.com/de/glossary/fp8/). Genau deshalb gibt es GPTQ und AWQ überhaupt. Ein durchschnittlicher Benchmark-Score kann Verluste bei den Aufgaben verbergen, die Ihnen wichtig sind, etwa langes Reasoning, exakte Arithmetik, Code oder eine weniger verbreitete Sprache. Schneidet ein INT4-Build auf Ihrem eigenen Testset schlechter ab als die 16-Bit-Version, glauben Sie Ihrem Test.

[Mixture-of-Experts](https://broadrouter.com/de/glossary/mixture-of-experts/)\-Modelle sind häufige Kandidaten für INT4, weil alle Experten in den Speicher passen müssen, obwohl pro Token nur wenige laufen.

## Bei BroadNet Inference

Laut dem [Modellkatalog](https://www.broadnet.ai/inference/models) von BroadNet nutzt das produktive Build von Gemma 4 26B A4B (API-ID `broadnet/gemma-4-26b-a4b`) AWQ-4-Bit-Gewichte, mit Multi-Token-Prediction und einem FP8-KV-Cache. Das ist BroadNets eigene Beschreibung; die API-Dokumentation nennt die Genauigkeit der anderen Modelle nicht. Wenn Sie zwischen dem Selbsthosten eines 4-Bit-Modells und einer API abwägen, helfen der [Kostenvergleich zum Selbsthosten](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) und der [Kostenrechner für LLM-APIs](https://broadrouter.com/tools/llm-api-cost-calculator/), die Gesamtkosten zu vergleichen.

## Häufige Fragen

### Wie viel Speicher spart INT4?

Jedes Gewicht belegt ein halbes Byte statt zwei, also etwa ein Viertel der 16-Bit-Größe, plus ein wenig Overhead für die Skalierungsfaktoren. Ein Modell mit 25,2 Mrd. Parametern schrumpft von etwa 50,4 GB auf etwa 12,6 GB Gewichte.

### Ist INT4 dasselbe wie NF4 oder FP4?

Nein. Alle drei nutzen 4 Bit, aber NF4 und FP4 verteilen ihre 16 Stufen ungleichmäßig, INT4 dagegen gleichmäßig. Die bitsandbytes-Integration von Hugging Face bietet FP4 und NF4; GPTQ- und AWQ-Checkpoints nutzen meist INT4.

### Macht INT4 ein Modell schneller?

Bei geringer Last oft ja, weil die Generierung durch das Lesen der Gewichte aus dem Speicher begrenzt ist und 4-Bit-Gewichte kleiner sind. Laut der Dokumentation von vLLM hilft INT4 W4A16 am meisten bei Workloads mit wenigen Anfragen pro Sekunde; unter hoher Last schrumpft der Gewinn.

## Siehe auch

-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [FP8](https://broadrouter.com/de/glossary/fp8/) (Begriff)
-   [Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/) (Begriff)
-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [AWQ (Activation-aware Weight Quantization)](https://broadrouter.com/de/glossary/awq/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-int4&utm_content=page-cta) ·

**Quellen**

-   [Modellkatalog von BroadNet (Gemma 4 26B A4B, AWQ 4-Bit) (auf Englisch)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, numerische Genauigkeit (INT4 und INT8 weight-only)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin et al., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar et al., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Dokumentation von vLLM, INT4-W4A16-Quantisierung](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Dokumentation von Hugging Face Transformers, bitsandbytes (4-Bit-Typen NF4 und FP4) (geprüft am 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
