---
title: "Was ist ein KV-Cache? So nutzen LLMs Attention wieder"
description: "Ein KV-Cache speichert Attention-Keys und -Values bereits gelesener Tokens, damit jedes neue Token günstig ist. Funktionsweise und Grenze für langen Kontext."
url: https://broadrouter.com/de/glossary/kv-cache/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/kv-cache/) (aktualisiert am 2026-11-14).

# KV-Cache

Aktualisiert 2026-11-14

Ein KV-Cache ist der Speicher, in dem ein Transformer-Sprachmodell die Attention-Keys und -Values aller bereits verarbeiteten Tokens ablegt, damit jedes neue Token sie wiederverwendet, statt die ganze Sequenz neu zu berechnen. Er wächst mit der Kontextlänge und begrenzt oft, wie viele Anfragen eine GPU bedienen kann.

Auch genannt: KV-Cache, KV Cache, Key-Value-Cache, Attention-Cache, KV-Speicher, key-value cache, past\_key\_values, attention cache, KV memory

Jedes Mal, wenn ein Modell ein Token schreibt, blickt es auf alle Tokens davor zurück. Der KV-Cache macht diesen Rückblick günstig.

## So funktioniert es

Attention vergleicht die Query des aktuellen Tokens mit einem Key und einem Value für jedes frühere Token. Ohne Cache müsste das Modell bei jedem Schritt alle früheren Keys und Values neu berechnen. Der Caching-Leitfaden von Hugging Face fasst den Kompromiss zusammen: Mit Cache ist „attention cost per step is linear with sequence length“ (Übersetzung: „der Attention-Aufwand pro Schritt linear zur Sequenzlänge“), während der Speicher „grows linearly“ (Übersetzung: „linear wächst“).

Die Inferenz hat deshalb zwei Phasen:

1.  **Prefill.** Das Modell liest den ganzen Prompt und füllt den Cache. Das macht den Großteil der [Zeit bis zum ersten Token](https://broadrouter.com/de/glossary/time-to-first-token/) aus.
2.  **Decode.** Jedes neue Token fügt pro Schicht einen Key und einen Value hinzu und liest dann den ganzen Cache.

Die Cache-Größe pro Token beträgt grob `2 × layers × KV heads × head size × bytes per number`. Modellentwickler setzen bei jedem dieser Faktoren an. Die Model Card von DeepSeek V4.1 Flash nennt einen globalen KV-Cache von 890 Bytes pro Token, gespeichert in FP4. Beim vollen Kontext von 1.048.576 Tokens sind das 890 × 1.048.576 = 933.232.640 Bytes, etwa 890 MiB für eine einzige Anfrage.

## Warum es wichtig ist

-   **Parallelität und Preis.** Laut dem PagedAttention-Paper ist das gleichzeitige Bedienen vieler Anfragen begrenzt, weil der KV-Cache-Speicher „is huge and grows and shrinks dynamically“ (Übersetzung: „riesig ist und dynamisch wächst und schrumpft“). vLLM verwaltet diesen Speicher in Seiten wie ein Betriebssystem und berichtet bei gleicher Latenz einen 2- bis 4-mal höheren [Durchsatz](https://broadrouter.com/de/glossary/throughput/).
-   **Langer Kontext ist nicht gratis.** Ein Anbieter muss den Cache für Ihren ganzen Prompt vorhalten, während er generiert. Das ist ein Grund, warum Anfragen mit langem Kontext langsamer starten.
-   **Prompt Caching baut darauf auf.** Den KV-Zustand eines Präfixes nach dem Ende einer Anfrage aufzubewahren, ist das, was ein Anbieter als [gecachte Input-Tokens](https://broadrouter.com/de/glossary/cached-input-tokens/) abrechnet. Stabile Präfixe treffen diesen Cache häufiger; siehe [Prompt-Struktur für Caching](https://broadrouter.com/de/blog/prompt-structure-for-caching/).
-   **[Quantisierung](https://broadrouter.com/de/glossary/quantization/) greift auch hier.** Keys und Values mit weniger Bits zu speichern verkleinert den Cache, mit einem gewissen Qualitätsrisiko.

## Bei BroadNet Inference

BroadNet veröffentlicht nicht, wie es den KV-Cache-Speicher verwaltet. Was die API-Referenz dokumentiert, ist die sichtbare Wirkung: `usage.prompt_tokens_details.cached_tokens` meldet die aus dem Cache gelesenen Prompt-Tokens, berechnet zum Preis für gecachten Input, zum Beispiel $0.0055 pro 1M Tokens bei [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) gegenüber $0.175 für neuen Input. Dieses Modell und GLM 5.3 akzeptieren bis zu 1.048.576 Tokens pro Anfrage.

## Häufige Fehler

-   Kontextlänge nur als Preisfrage zu sehen. Ein größerer Cache bedeutet auch einen langsameren Prefill.
-   Den System-Prompt in jeder Runde umzustellen. Das gecachte Präfix passt dann nicht mehr, und der Anbieter berechnet es neu.

## Häufige Fragen

### Ist der KV-Cache dasselbe wie Prompt Caching?

Nicht ganz. Der KV-Cache lebt innerhalb einer Anfrage, während das Modell generiert. Prompt Caching hält diesen Zustand nach dem Ende der Anfrage vor, damit eine spätere Anfrage mit demselben Präfix ihn wiederverwenden kann, und Anbieter berechnen diese Tokens als gecachten Input.

### Warum braucht ein langer Prompt so viel GPU-Speicher?

Jedes Token im Kontext legt seine Keys und Values in jeder Schicht im Cache ab. Ein Prompt mit einer Million Tokens hält eine Million Tokens an Attention-Zustand im Speicher, bis die Antwort fertig ist.

### Wie groß ist ein KV-Cache?

Grob 2 × Schichten × KV-Heads × Head-Größe × Bytes pro Zahl, für jedes Token im Kontext. Laut der Model Card von DeepSeek sind es bei DeepSeek V4.1 Flash 890 Bytes pro Token, etwa 890 MiB beim vollen Kontext von 1.048.576 Tokens.

## Siehe auch

-   [Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/) (Begriff)
-   [Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/) (Begriff)
-   [Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/) (Begriff)
-   [Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/) (Begriff)
-   [vLLM](https://broadrouter.com/de/glossary/vllm/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)](https://broadrouter.com/de/blog/million-token-context-window-guide/) (Artikel)
-   [Prompts so strukturieren, dass das Präfix gecacht wird](https://broadrouter.com/de/blog/prompt-structure-for-caching/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-kv-cache&utm_content=page-cta) ·

**Quellen**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention (vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, Caching erklärt](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, Model Card von DeepSeek-V4.1-Flash (KV-Cache-Bytes pro Token)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
