BroadRouter

GGUF

Aktualisiert

GGUF ist ein binäres Dateiformat, in dem Sprachmodelle für die Inferenz mit GGML-basierten Runtimes wie llama.cpp gespeichert werden. Eine GGUF-Datei enthält die Gewichte, oft quantisiert, plus die zum Laden nötigen Metadaten wie Tokenizer- und Architekturangaben, und lässt sich für schnelles Laden per Memory-Mapping einbinden.

Auch genannt: GGUF, GGUF-Datei, GGUF-Format, GGUF-Modell, llama.cpp-Format, GGUF file, GGUF format, llama.cpp format

Wenn Sie schon einmal ein Modell heruntergeladen haben, um es auf dem Laptop laufen zu lassen, war es wahrscheinlich eine Datei mit der Endung .gguf.

So funktioniert es

Die ggml-Spezifikation beschreibt GGUF als binäres Format, in dem Modelle für die Inferenz mit GGML und GGML-basierten Ausführungsumgebungen gespeichert werden, ausgelegt auf schnelles Laden und Speichern. Es löste die älteren Formate GGML, GGMF und GGJT ab. Zu den erklärten Zielen gehören:

  • Eine Datei. Ein Modell lässt sich ohne zusätzliche Dateien weitergeben und laden.
  • mmap-kompatibel. Die Runtime kann die Gewichte per Memory-Mapping einbinden, statt sie zu kopieren.
  • Erweiterbar. Neue Metadaten lassen sich ergänzen, ohne ältere Modelle zu brechen.
  • Vollständige Information. Alles, was zum Laden des Modells nötig ist, steckt in der Datei.

Eine GGUF-Datei besteht aus einem Header (eine Magic Number, die Formatversion, die Zahl der Tensoren und Metadaten), typisierten Metadaten als Schlüssel-Wert-Paare, einer Tabelle mit Namen, Formen, Typen und Offsets der Tensoren, Padding bis zu einer Ausrichtungsgrenze (standardmäßig 32 Bytes) und schließlich den Tensordaten.

Dateinamen folgen einer Konvention. Das Beispiel Mixtral-8x7B-v0.1-KQ2.gguf aus der Spezifikation zerfällt in Basisname, Größenangabe (acht Experten zu je 7B, siehe Mixture of Experts), Version und Kodierung.

Die meisten GGUF-Dateien sind quantisiert. Die Tabelle von Hugging Face listet die gängigen Typen:

Typ Bits pro Gewicht Hinweise
Q8_0 8 Klassisches Runden auf den nächsten Wert, Blöcke mit 32 Gewichten
Q6_K 6,5625 K-Quant-Superblöcke
Q5_K 5,5 K-Quant-Superblöcke
Q4_K 4,5 K-Quant-Superblöcke
IQ4_XS 4,25 Nutzt eine Importance-Matrix
Q2_K 2,625 K-Quant-Superblöcke

Warum es wichtig ist

  • Lokaler Einsatz und Edge. Hugging Face nennt llama.cpp, LM Studio, GPT4All und Ollama als Tools, die GGUF nutzen. Es ist der übliche Weg, ein Open-Weight-Modell auf einer CPU, einem Mac oder einer einzelnen Consumer-GPU laufen zu lassen.
  • Der Tokenizer reist mit den Gewichten. Weil die Metadaten in der Datei stecken, kann ein falsches oder fehlendes Chat-Template oder eine falsche Tokenizer-Einstellung bei einer Konvertierung die Output-Qualität verändern.
  • Die Qualität hängt vom Quant-Typ ab. Eine Q2- und eine Q8-Datei desselben Modells sind in der Praxis nicht dasselbe Modell. Vergleichen Sie Gleiches mit Gleichem.
  • Anders als GPU-Serving-Formate. Server-Engines wie vLLM führen GGUF unter den unterstützten Formaten, aber für GPU-Serving in Produktion werden häufiger Formate wie AWQ oder FP8 genutzt.

Bei BroadNet Inference

Die API von BroadNet stellt Modelle über HTTP bereit; sie gibt keine GGUF-Dateien heraus, und Sie laden nie selbst Gewichte. Laut Katalog hat BroadNet im Labor Qwen3.8 27B als GGUF Q4_K_M mit einem Vision-Projektor und einem Multi-Token-Prediction-Drafter auf llama.cpp betrieben, neben einem AWQ-INT4-Build auf vLLM für AMD ROCm. Welches Format die öffentliche API bedient, sagt er nicht. Wenn Sie ein lokales GGUF-Setup gegen eine API abwägen, behandeln der Kostenvergleich Self-Hosting vs. API und Open-Weight- vs. geschlossene Modelle die Abwägungen.

Häufige Fragen

Was bedeutet ein Name wie Q4_K?

Das ist der Quantisierungstyp. Die Tabelle von Hugging Face beschreibt Q4_K als 4-Bit-Quantisierung in Superblöcken aus 8 Blöcken zu je 32 Gewichten, etwa 4,5 Bit pro Gewicht. Weniger Bits brauchen weniger Speicher und kosten meist mehr Qualität.

Kann ich ein GGUF-Modell über das OpenAI-API-Format aufrufen?

Die Datei selbst nicht. Sie laden sie in eine Runtime wie den Server von llama.cpp, Ollama oder LM Studio, und diese Runtime stellt sie bereit. Welche API sie anbietet, steht in der Dokumentation der Runtime.

Ist GGUF dasselbe wie safetensors?

Nein. Hugging Face beschreibt safetensors als reines Tensorformat, während GGUF sowohl die Tensoren als auch einen standardisierten Satz Metadaten in einer Datei kodiert.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen