Jedes Mal, wenn ein Modell ein Token schreibt, blickt es auf alle Tokens davor zurück. Der KV-Cache macht diesen Rückblick günstig.
So funktioniert es
Attention vergleicht die Query des aktuellen Tokens mit einem Key und einem Value für jedes frühere Token. Ohne Cache müsste das Modell bei jedem Schritt alle früheren Keys und Values neu berechnen. Der Caching-Leitfaden von Hugging Face fasst den Kompromiss zusammen: Mit Cache ist „attention cost per step is linear with sequence length“ (Übersetzung: „der Attention-Aufwand pro Schritt linear zur Sequenzlänge“), während der Speicher „grows linearly“ (Übersetzung: „linear wächst“).
Die Inferenz hat deshalb zwei Phasen:
- Prefill. Das Modell liest den ganzen Prompt und füllt den Cache. Das macht den Großteil der Zeit bis zum ersten Token aus.
- Decode. Jedes neue Token fügt pro Schicht einen Key und einen Value hinzu und liest dann den ganzen Cache.
Die Cache-Größe pro Token beträgt grob 2 × layers × KV heads × head size × bytes per number. Modellentwickler setzen bei jedem dieser Faktoren an. Die Model Card von DeepSeek V4.1 Flash nennt einen globalen KV-Cache von 890 Bytes pro Token, gespeichert in FP4. Beim vollen Kontext von 1.048.576 Tokens sind das 890 × 1.048.576 = 933.232.640 Bytes, etwa 890 MiB für eine einzige Anfrage.
Warum es wichtig ist
- Parallelität und Preis. Laut dem PagedAttention-Paper ist das gleichzeitige Bedienen vieler Anfragen begrenzt, weil der KV-Cache-Speicher „is huge and grows and shrinks dynamically“ (Übersetzung: „riesig ist und dynamisch wächst und schrumpft“). vLLM verwaltet diesen Speicher in Seiten wie ein Betriebssystem und berichtet bei gleicher Latenz einen 2- bis 4-mal höheren Durchsatz.
- Langer Kontext ist nicht gratis. Ein Anbieter muss den Cache für Ihren ganzen Prompt vorhalten, während er generiert. Das ist ein Grund, warum Anfragen mit langem Kontext langsamer starten.
- Prompt Caching baut darauf auf. Den KV-Zustand eines Präfixes nach dem Ende einer Anfrage aufzubewahren, ist das, was ein Anbieter als gecachte Input-Tokens abrechnet. Stabile Präfixe treffen diesen Cache häufiger; siehe Prompt-Struktur für Caching.
- Quantisierung greift auch hier. Keys und Values mit weniger Bits zu speichern verkleinert den Cache, mit einem gewissen Qualitätsrisiko.
Bei BroadNet Inference
BroadNet veröffentlicht nicht, wie es den KV-Cache-Speicher verwaltet. Was die API-Referenz dokumentiert, ist die sichtbare Wirkung: usage.prompt_tokens_details.cached_tokens meldet die aus dem Cache gelesenen Prompt-Tokens, berechnet zum Preis für gecachten Input, zum Beispiel $0.0055 pro 1M Tokens bei DeepSeek V4.1 Flash gegenüber $0.175 für neuen Input. Dieses Modell und GLM 5.3 akzeptieren bis zu 1.048.576 Tokens pro Anfrage.
Häufige Fehler
- Kontextlänge nur als Preisfrage zu sehen. Ein größerer Cache bedeutet auch einen langsameren Prefill.
- Den System-Prompt in jeder Runde umzustellen. Das gecachte Präfix passt dann nicht mehr, und der Anbieter berechnet es neu.