Das meiste, was ein Agent sendet, ist in jeder Runde gleich. Mit Prompt Caching kann der Anbieter diesen wiederholten Teil überspringen, statt ihn neu zu berechnen, und ihn günstiger abrechnen.
So funktioniert es
Wenn ein Modell einen Prompt liest, berechnet es für jedes Token einen internen Zustand. Ein Anbieter kann diesen Zustand kurze Zeit aufbewahren. Beginnt die nächste Anfrage mit denselben Tokens, liest der Anbieter den gespeicherten Zustand, statt ihn neu zu berechnen. Diese Tokens sind gecachte Input-Tokens.
Caches gleichen ab dem Anfang des Prompts ab. Laut dem Leitfaden von OpenAI „requires the entire rendered prefix to match“ (Übersetzung: setzt die Wiederverwendung voraus, „dass das gesamte gerenderte Präfix übereinstimmt“). Ein einziges geändertes Zeichen weit vorn im Prompt macht alles danach zu neuem Input.
Die Anbieter unterscheiden sich im Detail:
- OpenAI aktiviert Caching bei unterstützten Modellen standardmäßig und meldet Treffer im usage-Block. Für seine neueren Modelle dokumentiert OpenAI ein Mindestpräfix von 1.024 Tokens.
- Anthropic berechnet Cache-Lesezugriffe bei den meisten Modellen mit dem 0,1-Fachen des normalen Input-Preises, Cache-Schreibzugriffe mit Aufschlag, und hält Einträge standardmäßig 5 Minuten.
Im Format von Chat Completions erscheinen Treffer als usage.prompt_tokens_details.cached_tokens. Die Cache-Quote ist diese Zahl geteilt durch prompt_tokens.
Warum es wichtig ist
Bei langen, wiederholten Prompts entscheidet die Cache-Quote über die Rechnung. Ein Agent, der in jeder Runde ein Repository mit 200.000 Tokens erneut sendet, zahlt einmal den vollen Input-Preis und danach den Cache-Preis, solange das Präfix stabil bleibt. Caching kann bei langen Prompts auch die Zeit bis zum ersten Token verkürzen, weil vor der Generierung weniger Arbeit anfällt.
Um die Quote zu erhöhen, stellen Sie stabile Inhalte an den Anfang (System-Prompt, Tool-Definitionen, Dokumente) und wechselnde Inhalte ans Ende. Halten Sie Zeitstempel und Request-IDs aus dem Anfang des Prompts heraus und behalten Sie die Reihenfolge der Tools bei. Welcher Anteil der veröffentlichten Preislisten einen Preis für gecachten Input enthält und wie hoch der typische Rabatt ist, zeigt der Preisindex für LLM-APIs.
Bei BroadNet Inference
BroadNet veröffentlicht Preise für gecachten Input bei drei Chatmodellen, pro 1 Mio. Tokens:
| Modell | Neuer Input | Gecachter Input |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Gecachte Tokens werden automatisch zum niedrigeren Preis berechnet, und prompt_tokens_details.cached_tokens zeigt sie an, wenn das Modell sie meldet. In einem Stream fordern Sie die Nutzung mit stream_options an, wie in der Streaming-Anleitung gezeigt.
Bei einem Flatrate-Plan gibt es keinen Token-Zähler, die Cache-Quote ändert die Rechnung also nicht. Die vollständige Anleitung mit Code zum Loggen Ihrer Quote finden Sie unter gecachte Input-Tokens erklärt.