---
title: "Was ist GGUF? Das Modellformat von llama.cpp erklärt"
description: "GGUF ist das Ein-Datei-Modellformat von llama.cpp und Tools wie Ollama und LM Studio. Was in einer GGUF-Datei steckt und wie man Quant-Namen wie Q4_K liest."
url: https://broadrouter.com/de/glossary/gguf/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/gguf/) (aktualisiert am 2026-11-15).

# GGUF

Aktualisiert 2026-11-15

GGUF ist ein binäres Dateiformat, in dem Sprachmodelle für die Inferenz mit GGML-basierten Runtimes wie llama.cpp gespeichert werden. Eine GGUF-Datei enthält die Gewichte, oft quantisiert, plus die zum Laden nötigen Metadaten wie Tokenizer- und Architekturangaben, und lässt sich für schnelles Laden per Memory-Mapping einbinden.

Auch genannt: GGUF, GGUF-Datei, GGUF-Format, GGUF-Modell, llama.cpp-Format, GGUF file, GGUF format, llama.cpp format

Wenn Sie schon einmal ein Modell heruntergeladen haben, um es auf dem Laptop laufen zu lassen, war es wahrscheinlich eine Datei mit der Endung `.gguf`.

## So funktioniert es

Die ggml-Spezifikation beschreibt GGUF als binäres Format, in dem Modelle für die Inferenz mit GGML und GGML-basierten Ausführungsumgebungen gespeichert werden, ausgelegt auf schnelles Laden und Speichern. Es löste die älteren Formate GGML, GGMF und GGJT ab. Zu den erklärten Zielen gehören:

-   **Eine Datei.** Ein Modell lässt sich ohne zusätzliche Dateien weitergeben und laden.
-   **mmap-kompatibel.** Die Runtime kann die Gewichte per Memory-Mapping einbinden, statt sie zu kopieren.
-   **Erweiterbar.** Neue Metadaten lassen sich ergänzen, ohne ältere Modelle zu brechen.
-   **Vollständige Information.** Alles, was zum Laden des Modells nötig ist, steckt in der Datei.

Eine GGUF-Datei besteht aus einem Header (eine Magic Number, die Formatversion, die Zahl der Tensoren und Metadaten), typisierten Metadaten als Schlüssel-Wert-Paare, einer Tabelle mit Namen, Formen, Typen und Offsets der Tensoren, Padding bis zu einer Ausrichtungsgrenze (standardmäßig 32 Bytes) und schließlich den Tensordaten.

Dateinamen folgen einer Konvention. Das Beispiel `Mixtral-8x7B-v0.1-KQ2.gguf` aus der Spezifikation zerfällt in Basisname, Größenangabe (acht Experten zu je 7B, siehe [Mixture of Experts](https://broadrouter.com/de/glossary/mixture-of-experts/)), Version und Kodierung.

Die meisten GGUF-Dateien sind [quantisiert](https://broadrouter.com/de/glossary/quantization/). Die Tabelle von Hugging Face listet die gängigen Typen:

| Typ | Bits pro Gewicht | Hinweise |
| --- | --- | --- |
| Q8\_0 | 8 | Klassisches Runden auf den nächsten Wert, Blöcke mit 32 Gewichten |
| Q6\_K | 6,5625 | K-Quant-Superblöcke |
| Q5\_K | 5,5 | K-Quant-Superblöcke |
| Q4\_K | 4,5 | K-Quant-Superblöcke |
| IQ4\_XS | 4,25 | Nutzt eine Importance-Matrix |
| Q2\_K | 2,625 | K-Quant-Superblöcke |

## Warum es wichtig ist

-   **Lokaler Einsatz und Edge.** Hugging Face nennt llama.cpp, LM Studio, GPT4All und Ollama als Tools, die GGUF nutzen. Es ist der übliche Weg, ein [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) auf einer CPU, einem Mac oder einer einzelnen Consumer-GPU laufen zu lassen.
-   **Der Tokenizer reist mit den Gewichten.** Weil die Metadaten in der Datei stecken, kann ein falsches oder fehlendes [Chat-Template](https://broadrouter.com/de/glossary/chat-template/) oder eine falsche [Tokenizer](https://broadrouter.com/de/glossary/tokenizer/)\-Einstellung bei einer Konvertierung die Output-Qualität verändern.
-   **Die Qualität hängt vom Quant-Typ ab.** Eine Q2- und eine Q8-Datei desselben Modells sind in der Praxis nicht dasselbe Modell. Vergleichen Sie Gleiches mit Gleichem.
-   **Anders als GPU-Serving-Formate.** Server-Engines wie [vLLM](https://broadrouter.com/de/glossary/vllm/) führen GGUF unter den unterstützten Formaten, aber für GPU-Serving in Produktion werden häufiger Formate wie [AWQ](https://broadrouter.com/de/glossary/awq/) oder FP8 genutzt.

## Bei BroadNet Inference

Die API von BroadNet stellt Modelle über HTTP bereit; sie gibt keine GGUF-Dateien heraus, und Sie laden nie selbst Gewichte. Laut Katalog hat BroadNet im Labor [Qwen3.8 27B](https://broadrouter.com/de/models/qwen3.8-27b/) als GGUF Q4\_K\_M mit einem Vision-Projektor und einem Multi-Token-Prediction-Drafter auf llama.cpp betrieben, neben einem AWQ-INT4-Build auf vLLM für AMD ROCm. Welches Format die öffentliche API bedient, sagt er nicht. Wenn Sie ein lokales GGUF-Setup gegen eine API abwägen, behandeln der [Kostenvergleich Self-Hosting vs. API](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) und [Open-Weight- vs. geschlossene Modelle](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) die Abwägungen.

## Häufige Fragen

### Was bedeutet ein Name wie Q4\_K?

Das ist der Quantisierungstyp. Die Tabelle von Hugging Face beschreibt Q4\_K als 4-Bit-Quantisierung in Superblöcken aus 8 Blöcken zu je 32 Gewichten, etwa 4,5 Bit pro Gewicht. Weniger Bits brauchen weniger Speicher und kosten meist mehr Qualität.

### Kann ich ein GGUF-Modell über das OpenAI-API-Format aufrufen?

Die Datei selbst nicht. Sie laden sie in eine Runtime wie den Server von llama.cpp, Ollama oder LM Studio, und diese Runtime stellt sie bereit. Welche API sie anbietet, steht in der Dokumentation der Runtime.

### Ist GGUF dasselbe wie safetensors?

Nein. Hugging Face beschreibt safetensors als reines Tensorformat, während GGUF sowohl die Tensoren als auch einen standardisierten Satz Metadaten in einer Datei kodiert.

## Siehe auch

-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [AWQ (Activation-aware Weight Quantization)](https://broadrouter.com/de/glossary/awq/) (Begriff)
-   [INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/) (Begriff)
-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [Tokenizer](https://broadrouter.com/de/glossary/tokenizer/) (Begriff)
-   [vLLM](https://broadrouter.com/de/glossary/vllm/) (Begriff)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-gguf&utm_content=page-cta) ·

**Quellen**

-   [ggml-Projekt, GGUF-Spezifikation, docs/gguf.md (geprüft am 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging-Face-Hub-Dokumentation, GGUF (Tabelle der Quantisierungstypen) (geprüft am 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Modellkatalog von BroadNet: Serving-Konfigurationen im Labor (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models)
