---
title: "Was ist Quantisierung bei LLMs? Weniger Bits pro Gewicht"
description: "Quantisierung speichert LLM-Gewichte, teils auch Aktivierungen, mit weniger Bits: weniger GPU-Speicher, schnellere Inferenz. Formate, Speicherbedarf, Qualität."
url: https://broadrouter.com/de/glossary/quantization/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/quantization/) (aktualisiert am 2026-11-14).

# Quantisierung (Quantization)

Aktualisiert 2026-11-14

Quantisierung bedeutet, die Zahlen eines neuronalen Netzes, vor allem seine Gewichte, in einem Format mit geringerer Präzision wie 8 oder 4 Bit statt 16 Bit zu speichern, damit das Modell weniger Speicher braucht und oft schneller läuft. Gute Verfahren halten den Genauigkeitsverlust klein.

Auch genannt: Quantisierung, Modellquantisierung, LLM-Quantisierung, quantisiertes Modell, Gewichtsquantisierung, quantization, model quantization, LLM quantization, quantized model, weight quantization

Die meisten offenen Modelle erscheinen mit 16-Bit-Gewichten. Quantisierung verkleinert diese Zahlen, damit ein Modell auf weniger GPUs passt.

## So funktioniert es

Hugging Face beschreibt Quantisierung als „representing weights and activations with lower-precision data types like 8-bit integers (int8)“ (Übersetzung: „Darstellung von Gewichten und Aktivierungen mit Datentypen geringerer Präzision wie 8-Bit-Ganzzahlen (int8)“). Jeder Block von Gewichten erhält einen Skalierungsfaktor. Die Gewichte werden auf wenige Stufen gerundet und zur Laufzeit wieder mit dem Faktor multipliziert.

Der Speicher für die Gewichte skaliert mit den Bits pro Parameter. Nehmen wir Gemma 4 26B A4B von Google mit 25,2B Parametern:

| Präzision | Bytes pro Gewicht | Nur Gewichte |
| --- | --- | --- |
| 16 Bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8 Bit ([FP8](https://broadrouter.com/de/glossary/fp8/) oder INT8) | 1 | 25,2 GB |
| 4 Bit ([INT4](https://broadrouter.com/de/glossary/int4/)) | 0,5 | 12,6 GB |

[KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) und Aktivierungen brauchen zusätzlich Platz.

Die Verfahren unterscheiden sich darin, was sie quantisieren und wie sie die Stufen wählen:

-   **LLM.int8()** halbiert den Speicherbedarf bei der Inferenz und behält einige Ausreißer-Features in 16 Bit; laut Paper laufen trotzdem mehr als 99,9 % der Werte mit 8-Bit-Arithmetik.
-   **GPTQ** ist ein One-Shot-Verfahren für Gewichte, das 3 oder 4 Bit pro Gewicht mit „negligible accuracy degradation“ erreicht (Übersetzung: „vernachlässigbarem Genauigkeitsverlust“) und ein 175B-Modell in etwa vier GPU-Stunden quantisiert.
-   **Nur Gewichte vs. Gewichte und Aktivierungen.** Formate nur für Gewichte sparen Speicher. Werden auch Aktivierungen quantisiert, kann das auf geeigneter Hardware zusätzlich die Matrixrechnung beschleunigen.

## Warum es wichtig ist

Wer eine API aufruft, sieht die Quantisierung in der Anfrage nicht, bemerkt sie aber an drei Stellen. Preis: Kleinere Modelle brauchen weniger GPUs, was die Betriebskosten senkt. Geschwindigkeit: Die Generierung ist oft durch die Speicherbandbreite begrenzt, weniger Bytes pro Gewicht können also mehr [Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/) bedeuten. Qualität: Weniger Bits heißt mehr Rundungsfehler, und ein Modell kann seinen Durchschnittswert halten und trotzdem bei genau den Aufgaben nachlassen, auf die Sie sich verlassen.

Wenn Sie zwei Anbieter vergleichen, die das „gleiche“ offene Modell ausliefern, und unterschiedliche Ergebnisse erhalten, ist die Präzision eine naheliegende Ursache.

## Bei BroadNet Inference

Die API-Referenz von BroadNet nennt die Präzision im Betrieb nicht. Der Modellkatalog führt den Produktions-Build von Gemma 4 26B A4B, angeboten als [BroadNet Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/), mit AWQ-4-Bit-Gewichten und einem FP8-KV-Cache. Für die anderen Modelle nennt er die Präzision der API nicht. Wenn die Präzision für Ihren Einsatz wichtig ist, lassen Sie dasselbe Evaluierungsset gegen jeden Anbieter laufen; die [Checkliste zur Evaluierung eines Modells vor dem Wechsel](https://broadrouter.com/de/blog/evaluate-llm-before-switching/) zeigt, wie.

## Häufige Fragen

### Macht Quantisierung ein Modell schlechter?

Manchmal geringfügig. LLM.int8() berichtet keine Verschlechterung bei 8-Bit-Inferenz bis 175B Parameter, und GPTQ berichtet einen vernachlässigbaren Verlust bei 3 oder 4 Bit pro Gewicht. Weniger Bits und schwierigere Aufgaben erhöhen das Risiko; testen Sie also mit Ihren eigenen Prompts.

### Kann ich erkennen, ob eine API ein quantisiertes Modell ausliefert?

Meist nur, wenn der Anbieter es sagt. Die API liefert in beiden Fällen dasselbe Antwortformat; vergleichen Sie also die Outputs mit Ihren eigenen Tests und fragen Sie den Anbieter, welche Präzision er nutzt.

### Wie viel Speicher spart Quantisierung?

Der Speicher für die Gewichte skaliert mit den Bits pro Gewicht. Ein Modell mit 25,2B Parametern braucht etwa 50,4 GB bei 16 Bit, 25,2 GB bei 8 Bit und 12,6 GB bei 4 Bit, noch ohne KV-Cache und Aktivierungen.

## Siehe auch

-   [FP8](https://broadrouter.com/de/glossary/fp8/) (Begriff)
-   [INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/) (Begriff)
-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [AWQ (Activation-aware Weight Quantization)](https://broadrouter.com/de/glossary/awq/) (Begriff)
-   [GGUF](https://broadrouter.com/de/glossary/gguf/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-quantization&utm_content=page-cta) ·

**Quellen**

-   [Hugging Face Transformers, Referenz zur Quantisierung](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers et al., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar et al., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, Model Card von Gemma 4 26B A4B (Parameterzahl)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Modellkatalog von BroadNet (Labormessungen, September 2026) (auf Englisch)](https://www.broadnet.ai/inference/models)
