BroadRouter

Agenten-Token-Budget: wohin die Tokens einer Agenten-Schleife gehen

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht

Eine Agenten-Schleife sendet bei jedem Aufruf ihren gesamten Kontext erneut: System-Prompt, Tool-Definitionen, Gesprächsverlauf, Dateiinhalte und Tool-Output, dazu den neuen Schritt. Der Input übersteigt den Output meist um ein Vielfaches. Loggen Sie prompt_tokens, cached_tokens und completion_tokens pro Aufruf, finden Sie den größten sich wiederholenden Block, und kürzen Sie dann Tools, begrenzen Sie Tool-Output und starten Sie lange Sessions neu.

Ein Chat kostet, was Sie tippen, plus das, was das Modell schreibt. Ein Agent kostet weit mehr, weil er das Modell Dutzende Male aufruft und jedes Mal fast alles erneut sendet. Wenn Sie diese Kosten senken oder einfach nicht mehr an das Kontextfenster stoßen wollen, müssen Sie wissen, welcher Teil jeder Anfrage groß ist. Dieser Beitrag zerlegt eine Agenten-Schleife in fünf Posten, zeigt, wie Sie jeden aus den Usage-Daten der API messen, und nennt, was Sie zuerst kürzen sollten.

Warum sendet ein Agent alles erneut?

Chat-Completions-APIs sind zustandslos. Das Modell merkt sich zwischen Aufrufen nichts, also sendet der Agent in jedem Schritt den vollständigen Kontext. Eine Aufgabe mit 40 Schritten, bei der jeder Aufruf 30.000 Tokens enthält, liest 1,2 Millionen Input-Tokens, um vielleicht 40.000 Output-Tokens zu erzeugen. Dieses Verhältnis von 30 zu 1 ist der Grund, warum Input-Tokens und ihr Cache-Preis die Rechnung von Agenten dominieren.

Wohin gehen die Tokens?

Posten Was es ist Bei jedem Aufruf wiederholt? Typischer Treiber
System-Prompt Agenten-Anweisungen, Regeldateien, Projektnotizen Ja Lange Regeldateien
Tool-Schemas Name, Beschreibung und JSON Schema jedes Tools Ja Eingebaute Tools plus jeder MCP-Server
Verlauf Frühere Nachrichten, Tool-Aufrufe und Ergebnisse Ja, und er wächst Lange Sessions
Gelesene Dateien und Tool-Output Dateiinhalte, Test-Logs, Suchergebnisse Ja, bis sie entfernt werden Ganze Dateien lesen, gesprächige Befehle
Output Sichtbare Antwort, Tool-Aufrufe und Reasoning Nein Reasoning-Aufwand, ganze Dateien neu schreiben

Die ersten beiden sind fixer Overhead. Cursor schrieb im September 2026, dass System-Prompt und Tool-Definitionen „had become one of the largest sources of spend that we fully control“ (Übersetzung: zu einer der größten Kostenquellen geworden waren, die wir vollständig kontrollieren), und nannte gelesene Dateien „another large source of token spend“ (Übersetzung: eine weitere große Quelle für Token-Kosten). Die Änderungen von Cursor, darunter ein um etwa zwei Drittel gekürzter System-Prompt und Tools, die in weniger als 20 % der Unterhaltungen genutzt werden und nur noch bei Bedarf geladen werden, senkten die Token-Kosten der Nutzer um 7 %. Das VS-Code-Team von GitHub nannte für Copilot dieselben beiden Kosten: das wiederholte Prompt-Präfix und den Overhead der Tool-Definitionen.

Wie messen Sie das?

Sie brauchen kein Tracing-Produkt. Der Usage-Block jeder Antwort genügt.

  1. Usage einschalten. Fügen Sie beim Streaming stream_options: {"include_usage": true} hinzu; die Usage-Daten kommen im letzten Chunk. Siehe Streaming.
  2. Pro Aufruf loggen: Schrittnummer, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens und, sofern gemeldet, completion_tokens_details.reasoning_tokens.
  3. Den fixen Overhead einmal messen. Senden Sie eine Anfrage nur mit System-Prompt und Tools und dem Wort „hi“. Ihr Wert prompt_tokens ist Ihre Untergrenze.
  4. Den Output eines Tools messen. Zählen Sie die Zeichen jedes Tool-Ergebnisses, bevor Sie es anhängen. Geteilt durch vier ergibt das eine grobe Token-Zahl für englischen Text; für den genauen Wert mit dem Tokenizer Ihres Modells fügen Sie ein Beispiel in den kostenlosen Token-Zähler ein.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Tragen Sie prompt_tokens pro Schritt in ein Diagramm ein. Ein gleichmäßiger Anstieg bedeutet, dass der Verlauf wächst. Ein plötzlicher Sprung bedeutet, dass eine große Datei oder ein Log in den Kontext gelangt ist. Eine hohe Untergrenze bedeutet zu viele Tools.

In Aider zeigt /tokens, was im aktuellen Kontext steckt, und /drop entfernt Dateien daraus.

Was sollten Sie zuerst kürzen?

Ordnen Sie nach Größe mal Wiederholungen, nicht danach, was am einfachsten ist:

  1. Ungenutzte Tools. Jedes Tool-Schema fährt bei jedem Aufruf mit. Der Leitfaden von OpenAI sagt, dass Funktionsdefinitionen „are billed as input tokens“ (Übersetzung: als Input-Tokens abgerechnet werden), und empfiehlt als weiche Regel weniger als 20 Funktionen zu Beginn eines Zugs. Deaktivieren Sie MCP-Server, die Sie bei dieser Aufgabe nicht brauchen; die opencode-Doku sagt klar, dass MCP-Tools Modellkontext verbrauchen.
  2. Tool-Output. Begrenzen Sie die Ausgabe von Befehlen (die letzten 200 Zeilen eines Test-Logs, nicht 20.000). Geben Sie Suchergebnisse als Pfade und Zeilennummern zurück und lesen Sie dann nur, was nötig ist.
  3. Gelesene Dateien. Lesen Sie die Funktion, nicht die Datei. Die Repo-Map von Aider nutzt ein Standardbudget von 1k Tokens (--map-tokens) statt ganzer Dateien.
  4. Verlauf. Starten Sie pro Änderung eine neue Aufgabe. Muss eine Session weiterlaufen, ersetzen Sie alte Züge durch eine kurze Zusammenfassung.
  5. System-Prompt. Entfernen Sie Regeln, die das Modell ohnehin befolgt. Halten Sie den Rest stabil.
  6. Output. Fordern Sie Diffs an, keine ganzen Dateien. Setzen Sie reasoning_effort für Routineschritte auf low. Reasoning-Tokens werden als Output abgerechnet.

Warum sollte das Präfix stabil bleiben?

Anbieter cachen ein wiederholtes Präfix und rechnen es zu einem niedrigeren Preis ab. Bei BroadNet Inference rechnet DeepSeek V4.1 Flash gecachten Input mit $0.0055 pro 1 Mio. Tokens ab und neuen Input mit $0.175. GLM 5.3 berechnet $0.173 gegenüber $0.78. Ein Zeitstempel im System-Prompt oder Tools, die bei jedem Aufruf in anderer Reihenfolge stehen, brechen den Cache ab dieser Stelle. Stellen Sie stabile Teile in fester Reihenfolge an den Anfang und veränderliche Teile ans Ende. Mehr dazu in Gecachte Input-Tokens erklärt; der Prompt-Caching-Rechner zeigt, was eine bestimmte Trefferquote spart.

Caching senkt den Preis des Präfixes, aber nicht seine Größe. Gecachte Tokens füllen weiterhin das Kontextfenster und brauchen weiterhin Zeit zur Verarbeitung.

Wie sieht ein durchgerechnetes Agenten-Budget aus?

Nehmen Sie die Aufgabe mit 40 Schritten von oben, mit 80 % gecachtem Input:

Teil Tokens Abgerechnet zum
Neuer Input 240.000 Input-Preis
Gecachter Input 960.000 Preis für gecachten Input
Output inkl. Reasoning 40.000 Output-Preis

Streicht man 5.000 Tokens ungenutzter Tool-Schemas aus jedem Aufruf, entfallen bei dieser Aufgabe 200.000 Input-Tokens, etwa ein Sechstel der Summe, ohne dass sich das Verhalten des Agenten ändert. Kostenhebel jenseits des Kürzens, etwa Modellwahl, Caching und Pauschalpläne, finden Sie unter 10 Wege, die LLM-Kosten von Coding-Agenten zu senken. Bei Multi-Agenten-Setups multiplizieren Sie mit der Zahl der Agenten; siehe was Multi-Agenten-Setups kosten. Um Ihre eigene Schleife Schritt für Schritt zu modellieren, nutzen Sie den Kostenschätzer für Agenten-Läufe.

Wo BroadNet Inference passt

BroadNet Inference gibt Prompt- und Completion-Tokens im Usage-Block zurück, dazu gecachte und Reasoning-Tokens, wenn das Modell sie meldet. Die Messung oben funktioniert also wie beschrieben. Der niedrige Preis für gecachten Input bei DeepSeek V4.1 Flash belohnt ein stabiles Präfix. Lohnt sich das Kürzen für Sie nicht, entfernen die unbegrenzten Pläne den Token-Zähler für DeepSeek V4.1 Flash für $60 im Monat pro Session; das Kontextfenster gilt weiterhin, und ein schlanker Kontext läuft trotzdem schneller. Die Pläne finden Sie unter inference.broadnet.ai/plans.

Häufige Fragen

Warum verbraucht mein Coding-Agent so viele Input-Tokens?

Weil die API zustandslos ist. Jeder Aufruf sendet den System-Prompt, jede Tool-Definition, die bisherige Unterhaltung und alle Dateiinhalte, die noch im Kontext sind, erneut. Eine lange Session multipliziert das mit der Zahl der Schritte.

Wie sehe ich, wie viele Tokens jeder Schritt meines Agenten verbraucht?

Lesen Sie den Usage-Block jeder Antwort. Beim Streaming setzen Sie in stream_options include_usage auf true und lesen den letzten Chunk. Loggen Sie prompt_tokens, prompt_tokens_details.cached_tokens und completion_tokens mit einer Schrittnummer.

Zählen Tool-Definitionen als Input-Tokens?

Ja. Die Tool-Liste ist Teil des Prompts und wird bei jedem Aufruf gesendet. MCP-Server fügen dieser Liste ihre Tools hinzu; deshalb rät die opencode-Doku, nur die Server hinzuzufügen, die Sie brauchen.

Löst Prompt Caching das Problem?

Es senkt den Preis des wiederholten Präfixes, nicht seine Größe. Gecachter Input füllt weiterhin das Kontextfenster. Bei BroadNet rechnet DeepSeek V4.1 Flash gecachten Input mit $0.0055 pro 1 Mio. Tokens ab, neuen Input mit $0.175.

Gehören Reasoning-Tokens zum Budget?

Ja, auf der Output-Seite. Reasoning-Modelle rechnen das Nachdenken auf max_tokens an und berechnen es bei Pay-as-you-go als Output. Setzen Sie reasoning_effort für Routineschritte auf low.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen