BroadRouter

Gecachte Input-Tokens (Cached Input Tokens)

Aktualisiert

Gecachte Input-Tokens sind Prompt-Tokens, die ein LLM-Anbieter kürzlich verarbeitet hat und aus einem Cache wiederverwenden kann, statt sie neu zu berechnen, meist ein wiederholtes Präfix wie ein System-Prompt oder ein Dokument. Anbieter berechnen sie günstiger als neue Input-Tokens.

Auch genannt: gecachter Input, gecachte Tokens, Prompt Caching, Cache-Treffer, Kontext-Caching, prompt caching, cache hits, cached tokens, context caching, cache read tokens

Das meiste, was ein Agent sendet, ist in jeder Runde gleich. Mit Prompt Caching kann der Anbieter diesen wiederholten Teil überspringen, statt ihn neu zu berechnen, und ihn günstiger abrechnen.

So funktioniert es

Wenn ein Modell einen Prompt liest, berechnet es für jedes Token einen internen Zustand. Ein Anbieter kann diesen Zustand kurze Zeit aufbewahren. Beginnt die nächste Anfrage mit denselben Tokens, liest der Anbieter den gespeicherten Zustand, statt ihn neu zu berechnen. Diese Tokens sind gecachte Input-Tokens.

Caches gleichen ab dem Anfang des Prompts ab. Laut dem Leitfaden von OpenAI „requires the entire rendered prefix to match“ (Übersetzung: setzt die Wiederverwendung voraus, „dass das gesamte gerenderte Präfix übereinstimmt“). Ein einziges geändertes Zeichen weit vorn im Prompt macht alles danach zu neuem Input.

Die Anbieter unterscheiden sich im Detail:

  • OpenAI aktiviert Caching bei unterstützten Modellen standardmäßig und meldet Treffer im usage-Block. Für seine neueren Modelle dokumentiert OpenAI ein Mindestpräfix von 1.024 Tokens.
  • Anthropic berechnet Cache-Lesezugriffe bei den meisten Modellen mit dem 0,1-Fachen des normalen Input-Preises, Cache-Schreibzugriffe mit Aufschlag, und hält Einträge standardmäßig 5 Minuten.

Im Format von Chat Completions erscheinen Treffer als usage.prompt_tokens_details.cached_tokens. Die Cache-Quote ist diese Zahl geteilt durch prompt_tokens.

Warum es wichtig ist

Bei langen, wiederholten Prompts entscheidet die Cache-Quote über die Rechnung. Ein Agent, der in jeder Runde ein Repository mit 200.000 Tokens erneut sendet, zahlt einmal den vollen Input-Preis und danach den Cache-Preis, solange das Präfix stabil bleibt. Caching kann bei langen Prompts auch die Zeit bis zum ersten Token verkürzen, weil vor der Generierung weniger Arbeit anfällt.

Um die Quote zu erhöhen, stellen Sie stabile Inhalte an den Anfang (System-Prompt, Tool-Definitionen, Dokumente) und wechselnde Inhalte ans Ende. Halten Sie Zeitstempel und Request-IDs aus dem Anfang des Prompts heraus und behalten Sie die Reihenfolge der Tools bei. Welcher Anteil der veröffentlichten Preislisten einen Preis für gecachten Input enthält und wie hoch der typische Rabatt ist, zeigt der Preisindex für LLM-APIs.

Bei BroadNet Inference

BroadNet veröffentlicht Preise für gecachten Input bei drei Chatmodellen, pro 1 Mio. Tokens:

Modell Neuer Input Gecachter Input
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Gecachte Tokens werden automatisch zum niedrigeren Preis berechnet, und prompt_tokens_details.cached_tokens zeigt sie an, wenn das Modell sie meldet. In einem Stream fordern Sie die Nutzung mit stream_options an, wie in der Streaming-Anleitung gezeigt.

Bei einem Flatrate-Plan gibt es keinen Token-Zähler, die Cache-Quote ändert die Rechnung also nicht. Die vollständige Anleitung mit Code zum Loggen Ihrer Quote finden Sie unter gecachte Input-Tokens erklärt.

Häufige Fragen

Zählen gecachte Tokens trotzdem zum Kontextfenster?

Ja. Caching ändert, was Sie für diese Tokens zahlen, nicht, ob sie zählen. Die Dokumentation von Anthropic sagt das ausdrücklich.

Wie lange hält ein Cache?

Das hängt vom Anbieter ab. Bei Anthropic beträgt die Standard-Lebensdauer 5 Minuten und verlängert sich bei jeder Nutzung des Caches; optional gibt es 1 Stunde. Andere Anbieter nennen nicht immer eine feste Zeit, messen Sie also Ihre Trefferquote.

Verändert Caching die Antwort?

Nein. Der Cache speichert die Arbeit am Prompt, nicht die Antwort. Das Modell erzeugt trotzdem eine neue Antwort.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen