Die meisten offenen Modelle erscheinen mit 16-Bit-Gewichten. Quantisierung verkleinert diese Zahlen, damit ein Modell auf weniger GPUs passt.
So funktioniert es
Hugging Face beschreibt Quantisierung als „representing weights and activations with lower-precision data types like 8-bit integers (int8)“ (Übersetzung: „Darstellung von Gewichten und Aktivierungen mit Datentypen geringerer Präzision wie 8-Bit-Ganzzahlen (int8)“). Jeder Block von Gewichten erhält einen Skalierungsfaktor. Die Gewichte werden auf wenige Stufen gerundet und zur Laufzeit wieder mit dem Faktor multipliziert.
Der Speicher für die Gewichte skaliert mit den Bits pro Parameter. Nehmen wir Gemma 4 26B A4B von Google mit 25,2B Parametern:
| Präzision | Bytes pro Gewicht | Nur Gewichte |
|---|---|---|
| 16 Bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8 Bit (FP8 oder INT8) | 1 | 25,2 GB |
| 4 Bit (INT4) | 0,5 | 12,6 GB |
KV-Cache und Aktivierungen brauchen zusätzlich Platz.
Die Verfahren unterscheiden sich darin, was sie quantisieren und wie sie die Stufen wählen:
- LLM.int8() halbiert den Speicherbedarf bei der Inferenz und behält einige Ausreißer-Features in 16 Bit; laut Paper laufen trotzdem mehr als 99,9 % der Werte mit 8-Bit-Arithmetik.
- GPTQ ist ein One-Shot-Verfahren für Gewichte, das 3 oder 4 Bit pro Gewicht mit „negligible accuracy degradation“ erreicht (Übersetzung: „vernachlässigbarem Genauigkeitsverlust“) und ein 175B-Modell in etwa vier GPU-Stunden quantisiert.
- Nur Gewichte vs. Gewichte und Aktivierungen. Formate nur für Gewichte sparen Speicher. Werden auch Aktivierungen quantisiert, kann das auf geeigneter Hardware zusätzlich die Matrixrechnung beschleunigen.
Warum es wichtig ist
Wer eine API aufruft, sieht die Quantisierung in der Anfrage nicht, bemerkt sie aber an drei Stellen. Preis: Kleinere Modelle brauchen weniger GPUs, was die Betriebskosten senkt. Geschwindigkeit: Die Generierung ist oft durch die Speicherbandbreite begrenzt, weniger Bytes pro Gewicht können also mehr Tokens pro Sekunde bedeuten. Qualität: Weniger Bits heißt mehr Rundungsfehler, und ein Modell kann seinen Durchschnittswert halten und trotzdem bei genau den Aufgaben nachlassen, auf die Sie sich verlassen.
Wenn Sie zwei Anbieter vergleichen, die das „gleiche“ offene Modell ausliefern, und unterschiedliche Ergebnisse erhalten, ist die Präzision eine naheliegende Ursache.
Bei BroadNet Inference
Die API-Referenz von BroadNet nennt die Präzision im Betrieb nicht. Der Modellkatalog führt den Produktions-Build von Gemma 4 26B A4B, angeboten als BroadNet Gemma 4 VL 26B, mit AWQ-4-Bit-Gewichten und einem FP8-KV-Cache. Für die anderen Modelle nennt er die Präzision der API nicht. Wenn die Präzision für Ihren Einsatz wichtig ist, lassen Sie dasselbe Evaluierungsset gegen jeden Anbieter laufen; die Checkliste zur Evaluierung eines Modells vor dem Wechsel zeigt, wie.