BroadRouter
Loslegen

Quantisierung (Quantization)

Aktualisiert

Quantisierung bedeutet, die Zahlen eines neuronalen Netzes, vor allem seine Gewichte, in einem Format mit geringerer Präzision wie 8 oder 4 Bit statt 16 Bit zu speichern, damit das Modell weniger Speicher braucht und oft schneller läuft. Gute Verfahren halten den Genauigkeitsverlust klein.

Auch genannt: Quantisierung, Modellquantisierung, LLM-Quantisierung, quantisiertes Modell, Gewichtsquantisierung, quantization, model quantization, LLM quantization, quantized model, weight quantization

Die meisten offenen Modelle erscheinen mit 16-Bit-Gewichten. Quantisierung verkleinert diese Zahlen, damit ein Modell auf weniger GPUs passt.

So funktioniert es

Hugging Face beschreibt Quantisierung als „representing weights and activations with lower-precision data types like 8-bit integers (int8)“ (Übersetzung: „Darstellung von Gewichten und Aktivierungen mit Datentypen geringerer Präzision wie 8-Bit-Ganzzahlen (int8)“). Jeder Block von Gewichten erhält einen Skalierungsfaktor. Die Gewichte werden auf wenige Stufen gerundet und zur Laufzeit wieder mit dem Faktor multipliziert.

Der Speicher für die Gewichte skaliert mit den Bits pro Parameter. Nehmen wir Gemma 4 26B A4B von Google mit 25,2B Parametern:

Präzision Bytes pro Gewicht Nur Gewichte
16 Bit (BF16) 2 25,2B × 2 = 50,4 GB
8 Bit (FP8 oder INT8) 1 25,2 GB
4 Bit (INT4) 0,5 12,6 GB

KV-Cache und Aktivierungen brauchen zusätzlich Platz.

Die Verfahren unterscheiden sich darin, was sie quantisieren und wie sie die Stufen wählen:

  • LLM.int8() halbiert den Speicherbedarf bei der Inferenz und behält einige Ausreißer-Features in 16 Bit; laut Paper laufen trotzdem mehr als 99,9 % der Werte mit 8-Bit-Arithmetik.
  • GPTQ ist ein One-Shot-Verfahren für Gewichte, das 3 oder 4 Bit pro Gewicht mit „negligible accuracy degradation“ erreicht (Übersetzung: „vernachlässigbarem Genauigkeitsverlust“) und ein 175B-Modell in etwa vier GPU-Stunden quantisiert.
  • Nur Gewichte vs. Gewichte und Aktivierungen. Formate nur für Gewichte sparen Speicher. Werden auch Aktivierungen quantisiert, kann das auf geeigneter Hardware zusätzlich die Matrixrechnung beschleunigen.

Warum es wichtig ist

Wer eine API aufruft, sieht die Quantisierung in der Anfrage nicht, bemerkt sie aber an drei Stellen. Preis: Kleinere Modelle brauchen weniger GPUs, was die Betriebskosten senkt. Geschwindigkeit: Die Generierung ist oft durch die Speicherbandbreite begrenzt, weniger Bytes pro Gewicht können also mehr Tokens pro Sekunde bedeuten. Qualität: Weniger Bits heißt mehr Rundungsfehler, und ein Modell kann seinen Durchschnittswert halten und trotzdem bei genau den Aufgaben nachlassen, auf die Sie sich verlassen.

Wenn Sie zwei Anbieter vergleichen, die das „gleiche“ offene Modell ausliefern, und unterschiedliche Ergebnisse erhalten, ist die Präzision eine naheliegende Ursache.

Bei BroadNet Inference

Die API-Referenz von BroadNet nennt die Präzision im Betrieb nicht. Der Modellkatalog führt den Produktions-Build von Gemma 4 26B A4B, angeboten als BroadNet Gemma 4 VL 26B, mit AWQ-4-Bit-Gewichten und einem FP8-KV-Cache. Für die anderen Modelle nennt er die Präzision der API nicht. Wenn die Präzision für Ihren Einsatz wichtig ist, lassen Sie dasselbe Evaluierungsset gegen jeden Anbieter laufen; die Checkliste zur Evaluierung eines Modells vor dem Wechsel zeigt, wie.

Häufige Fragen

Macht Quantisierung ein Modell schlechter?

Manchmal geringfügig. LLM.int8() berichtet keine Verschlechterung bei 8-Bit-Inferenz bis 175B Parameter, und GPTQ berichtet einen vernachlässigbaren Verlust bei 3 oder 4 Bit pro Gewicht. Weniger Bits und schwierigere Aufgaben erhöhen das Risiko; testen Sie also mit Ihren eigenen Prompts.

Kann ich erkennen, ob eine API ein quantisiertes Modell ausliefert?

Meist nur, wenn der Anbieter es sagt. Die API liefert in beiden Fällen dasselbe Antwortformat; vergleichen Sie also die Outputs mit Ihren eigenen Tests und fragen Sie den Anbieter, welche Präzision er nutzt.

Wie viel Speicher spart Quantisierung?

Der Speicher für die Gewichte skaliert mit den Bits pro Gewicht. Ein Modell mit 25,2B Parametern braucht etwa 50,4 GB bei 16 Bit, 25,2 GB bei 8 Bit und 12,6 GB bei 4 Bit, noch ohne KV-Cache und Aktivierungen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen