BroadRouter
Loslegen

KV-Cache

Aktualisiert

Ein KV-Cache ist der Speicher, in dem ein Transformer-Sprachmodell die Attention-Keys und -Values aller bereits verarbeiteten Tokens ablegt, damit jedes neue Token sie wiederverwendet, statt die ganze Sequenz neu zu berechnen. Er wächst mit der Kontextlänge und begrenzt oft, wie viele Anfragen eine GPU bedienen kann.

Auch genannt: KV-Cache, KV Cache, Key-Value-Cache, Attention-Cache, KV-Speicher, key-value cache, past_key_values, attention cache, KV memory

Jedes Mal, wenn ein Modell ein Token schreibt, blickt es auf alle Tokens davor zurück. Der KV-Cache macht diesen Rückblick günstig.

So funktioniert es

Attention vergleicht die Query des aktuellen Tokens mit einem Key und einem Value für jedes frühere Token. Ohne Cache müsste das Modell bei jedem Schritt alle früheren Keys und Values neu berechnen. Der Caching-Leitfaden von Hugging Face fasst den Kompromiss zusammen: Mit Cache ist „attention cost per step is linear with sequence length“ (Übersetzung: „der Attention-Aufwand pro Schritt linear zur Sequenzlänge“), während der Speicher „grows linearly“ (Übersetzung: „linear wächst“).

Die Inferenz hat deshalb zwei Phasen:

  1. Prefill. Das Modell liest den ganzen Prompt und füllt den Cache. Das macht den Großteil der Zeit bis zum ersten Token aus.
  2. Decode. Jedes neue Token fügt pro Schicht einen Key und einen Value hinzu und liest dann den ganzen Cache.

Die Cache-Größe pro Token beträgt grob 2 × layers × KV heads × head size × bytes per number. Modellentwickler setzen bei jedem dieser Faktoren an. Die Model Card von DeepSeek V4.1 Flash nennt einen globalen KV-Cache von 890 Bytes pro Token, gespeichert in FP4. Beim vollen Kontext von 1.048.576 Tokens sind das 890 × 1.048.576 = 933.232.640 Bytes, etwa 890 MiB für eine einzige Anfrage.

Warum es wichtig ist

  • Parallelität und Preis. Laut dem PagedAttention-Paper ist das gleichzeitige Bedienen vieler Anfragen begrenzt, weil der KV-Cache-Speicher „is huge and grows and shrinks dynamically“ (Übersetzung: „riesig ist und dynamisch wächst und schrumpft“). vLLM verwaltet diesen Speicher in Seiten wie ein Betriebssystem und berichtet bei gleicher Latenz einen 2- bis 4-mal höheren Durchsatz.
  • Langer Kontext ist nicht gratis. Ein Anbieter muss den Cache für Ihren ganzen Prompt vorhalten, während er generiert. Das ist ein Grund, warum Anfragen mit langem Kontext langsamer starten.
  • Prompt Caching baut darauf auf. Den KV-Zustand eines Präfixes nach dem Ende einer Anfrage aufzubewahren, ist das, was ein Anbieter als gecachte Input-Tokens abrechnet. Stabile Präfixe treffen diesen Cache häufiger; siehe Prompt-Struktur für Caching.
  • Quantisierung greift auch hier. Keys und Values mit weniger Bits zu speichern verkleinert den Cache, mit einem gewissen Qualitätsrisiko.

Bei BroadNet Inference

BroadNet veröffentlicht nicht, wie es den KV-Cache-Speicher verwaltet. Was die API-Referenz dokumentiert, ist die sichtbare Wirkung: usage.prompt_tokens_details.cached_tokens meldet die aus dem Cache gelesenen Prompt-Tokens, berechnet zum Preis für gecachten Input, zum Beispiel $0.0055 pro 1M Tokens bei DeepSeek V4.1 Flash gegenüber $0.175 für neuen Input. Dieses Modell und GLM 5.3 akzeptieren bis zu 1.048.576 Tokens pro Anfrage.

Häufige Fehler

  • Kontextlänge nur als Preisfrage zu sehen. Ein größerer Cache bedeutet auch einen langsameren Prefill.
  • Den System-Prompt in jeder Runde umzustellen. Das gecachte Präfix passt dann nicht mehr, und der Anbieter berechnet es neu.

Häufige Fragen

Ist der KV-Cache dasselbe wie Prompt Caching?

Nicht ganz. Der KV-Cache lebt innerhalb einer Anfrage, während das Modell generiert. Prompt Caching hält diesen Zustand nach dem Ende der Anfrage vor, damit eine spätere Anfrage mit demselben Präfix ihn wiederverwenden kann, und Anbieter berechnen diese Tokens als gecachten Input.

Warum braucht ein langer Prompt so viel GPU-Speicher?

Jedes Token im Kontext legt seine Keys und Values in jeder Schicht im Cache ab. Ein Prompt mit einer Million Tokens hält eine Million Tokens an Attention-Zustand im Speicher, bis die Antwort fertig ist.

Wie groß ist ein KV-Cache?

Grob 2 × Schichten × KV-Heads × Head-Größe × Bytes pro Zahl, für jedes Token im Kontext. Laut der Model Card von DeepSeek sind es bei DeepSeek V4.1 Flash 890 Bytes pro Token, etwa 890 MiB beim vollen Kontext von 1.048.576 Tokens.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen