BroadRouter

Prompt-Tokens reduzieren: gemessene Effekte bei Prompts, Tools, Daten

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Messen Sie zuerst: Loggen Sie prompt_tokens pro Aufruf, finden Sie den größten Teil und vergleichen Sie vorher und nachher mit dem Tokenizer des Modells. Über fünf Tokenizer hinweg sparte ein gekürzter, wortreicher System-Prompt 68 bis 71 %, und CSV brauchte 31 bis 41 % weniger Tokens als minifiziertes JSON. Bei drei Modellen verkürzte ein gekürzter System-Prompt mit 3 kurzen statt 10 ausführlichen Tools die vollständig gerenderte Anfrage um etwa 65 bis 71 %.

Kürzere Prompts kosten weniger, lassen mehr vom Kontextfenster für die eigentliche Arbeit übrig und liefern das erste Token meist früher. Aber „machen Sie den Prompt kürzer“ ist ein vager Rat. Dieser Beitrag misst gängige Kürzungen an einem realistischen Prompt für einen Support-Bot, mit den echten Tokenizern von vier offenen Modellen und o200k_base von OpenAI, damit Sie sehen, welche Änderungen sich lohnen.

Betreiben Sie einen Coding-Agenten, behandelt das Token-Budget für Agenten diese Schleife. In diesem Beitrag geht es um Anwendungs-Prompts: Chatbots, Klassifikatoren und Extraktionsjobs.

Wie haben wir gemessen?

Alle folgenden Zählungen stammen von uns, erstellt am 15. November 2026:

  • Tokenizer. Die offiziellen tokenizer.json-Dateien von DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B und Gemma 4 26B A4B von Google, jeweils in einer festgelegten Hugging-Face-Revision (siehe Quellen), geladen mit Hugging Face tokenizers 0.23.3. Dazu o200k_base aus tiktoken 0.14.0, zum Vergleich mit GPT-Modellen. Spezial-Tokens wurden nicht hinzugefügt.
  • Gerenderte Prompts. Für DeepSeek, GLM und Qwen haben wir außerdem vollständige Anfragen durch das veröffentlichte chat_template.jinja jedes Modells gerendert (Jinja2-Sandbox), mit System-Prompt, Tools, Verlauf und Frage, und das Ergebnis gezählt. Das kommt dem nahe, was ein Server tokenisiert, aber ein Anbieter kann ein anderes Template verwenden; maßgeblich bleibt also usage.prompt_tokens der API.
  • Text. Ein synthetischer Support-Bot für ein fiktives Telekommunikationsunternehmen: ein System-Prompt mit 261 Wörtern, 10 Tools, 8 Few-Shot-Beispiele, 40 Bestellzeilen, ein Verlauf mit 20 Runden und ein arabischer Absatz mit 31 Wörtern. Ein Prompt ist ein Datenpunkt. Ihre Ersparnis wird abweichen; die Methode lässt sich übertragen.

Gemma 4 VL 26B von BroadNet basiert auf dem Modell von Google, seine Zählung ist also eine Schätzung. Die anderen nutzen die eigenen Dateien der Modelle.

Welche Kürzungen sparen die meisten Tokens?

Rohtext, vorher → nachher, mit dem eingesparten Anteil:

Änderung DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
System-Prompt: 261 Wörter → 66 Wörter 295 → 88 (70 %) 294 → 89 (70 %) 297 → 95 (68 %) 297 → 96 (68 %) 293 → 86 (71 %)
Few-Shot: 8 Beispiele → 3 157 → 69 (56 %) 157 → 69 (56 %) 156 → 71 (54 %) 156 → 71 (54 %) 152 → 69 (55 %)
40 Zeilen: eingerücktes JSON → minifiziertes JSON 2.446 → 1.606 (34 %) 2.460 → 1.581 (36 %) 3.180 → 1.980 (38 %) 3.210 → 2.010 (37 %) 2.446 → 1.567 (36 %)
40 Zeilen: minifiziertes JSON → CSV 1.606 → 948 (41 %) 1.581 → 960 (39 %) 1.980 → 1.359 (31 %) 2.010 → 1.382 (31 %) 1.567 → 946 (40 %)
10 Tools: ausführliche → kurze Beschreibungen 1.224 → 806 (34 %) 1.214 → 797 (34 %) 1.225 → 806 (34 %) 1.252 → 827 (34 %) 1.202 → 796 (34 %)
10 ausführliche Tools → 3 kurze 1.224 → 258 (79 %) 1.214 → 257 (79 %) 1.225 → 266 (78 %) 1.252 → 276 (78 %) 1.202 → 255 (79 %)
Arabischer Absatz: vollständig vokalisiert → ohne Vokalzeichen 193 → 74 (62 %) 267 → 78 (71 %) 151 → 62 (59 %) 180 → 64 (64 %) 218 → 62 (72 %)

Bei englischer Prosa sind die Prozentwerte über die Tokenizer hinweg ähnlich; eine Kürzung, die bei einem Modell hilft, hilft also auch bei den anderen. Zwei Zeilen durchbrechen dieses Muster. Die Bestelldaten kosteten Qwen und Gemma in jedem Format 23 bis 46 % mehr Tokens als DeepSeek und GLM, weil deren Tokenizer Zahlen in einzelne Ziffern zerlegen: 100200 sind bei Qwen 6 Tokens, bei DeepSeek 2. Und arabische Diakritika treffen manche Tokenizer weit härter als andere.

Wie sieht eine vollständige Anfrage aus?

Rohtext lässt das Chat-Template außen vor. Gerendert durch das eigene Template jedes Modells, mit derselben Kundenfrage, ergab die Messung des vollständigen Prompts:

Anfrage DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Ausführlicher System-Prompt + 10 ausführliche Tools 1.677 1.535 1.797
B. Gekürzter System-Prompt + 10 kurze Tools 1.052 913 1.176
C. Gekürzter System-Prompt + 3 kurze Tools 574 443 636
D. Gekürzter System-Prompt, keine Tools 136 121 174
C + 20 frühere Runden vollständig 2.374 2.243 2.693
C + dreizeilige Zusammenfassung + letzte 4 Runden 979 849 1.103

Der Schritt von A zu C sparte etwa 65 bis 71 % jeder Anfrage (64,6 % bei Qwen, 71,1 % bei GLM). Das meiste davon kam von den Tools. Mit dem ausführlichen System-Prompt gerendert, fügten die 10 ausführlichen Tools bei DeepSeek 1.334 Tokens hinzu, bei GLM 1.209 und bei Qwen 1.421; die 3 kurzen Tools in C fügten gegenüber D 322 bis 462 hinzu. Schemas für Tool Calling fahren bei jeder Anfrage mit, ob das Modell sie nutzt oder nicht.

Bei Volumen summiert sich das. Bei Qwen3.8 27B spart der Schritt von A zu C 1.161 Tokens pro Anfrage. Bei 100.000 Anfragen im Monat sind das etwa 116 Millionen Input-Tokens, also 116 × $0.175 im Monat zum Standard-Input-Preis.

Wie kürzen Sie einen System-Prompt, ohne ihn kaputtzumachen?

Unser Prompt mit 261 Wörtern und der mit 66 Wörtern enthalten dieselben sieben Regeln. Die Kürzungen waren alle von derselben Art:

  1. Höflichkeiten gegenüber dem Modell streichen. Aus „It is very important that you always remain polite and courteous at all times“ (Übersetzung: „Es ist sehr wichtig, dass Sie jederzeit höflich und zuvorkommend bleiben“) wurde nichts: Die Rollenzeile impliziert es bereits.
  2. Eine Regel pro Zeile. Aufzählungspunkte ersetzen Sätze wie „Please make sure that you always…“ (Übersetzung: „Bitte stellen Sie sicher, dass Sie immer …“).
  3. Doppeltes zusammenführen. Drei Sätze über die Sprache wurden zu „Reply in the customer’s language (Arabic or English), briefly.“ (Übersetzung: „Antworte kurz in der Sprache des Kunden (Arabisch oder Englisch).“)
  4. Wiederholte Standardvorgaben löschen. „Remember to always be helpful!“ (Übersetzung: „Denk daran, immer hilfsbereit zu sein!“) ändert nichts.

Dann testen. Ein kürzerer Prompt, der eine Regel verliert, kostet mehr, als er spart. Lassen Sie beide Versionen über dieselben 50 bis 100 echten Eingaben laufen und vergleichen Sie, wie in ein LLM vor dem Wechsel evaluieren beschrieben.

Wie viele Few-Shot-Beispiele brauchen Sie?

Weniger, als die meisten Prompts enthalten. Jedes Few-Shot-Beispiel wird bei jedem Aufruf bezahlt. Behalten Sie die, die einen Fehler beheben, den das Modell ohne sie macht, etwa ein Dialektbeispiel für einen arabischen Klassifikator, und streichen Sie die, die es ohnehin richtig macht. Unsere Kürzung von 8 auf 3 sparte 54 bis 56 % des Beispielblocks. Ob 3 für Ihre Aufgabe genügen, ist eine Frage der Genauigkeit, nicht der Tokens; prüfen Sie es also mit Ihrem Testset.

Sollten Sie Tools, Daten und Verlauf anders senden?

Tools. Senden Sie nur die Tools, die der aktuelle Schritt nutzen kann. Eine Rechnungsfrage braucht get_account, get_bill und create_ticket, nicht order_esim. Kürzen Sie Beschreibungen auf das, was das Modell braucht, um das Tool auszuwählen und zu befüllen. Die Einrückung spielt hier keine Rolle: Die Templates, die wir gerendert haben, serialisieren das tools-Array alle mit tojson neu, ein formatiertes tools-Array kostet also so viel wie ein minifiziertes.

Daten in Nachrichten. Daten, die Sie in eine Nachricht einfügen, werden so gesendet, wie sie geschrieben sind. Minifizieren Sie JSON mindestens. Bei flachen Datensätzen lässt CSV oder TSV die wiederholten Schlüssel weg: In unserem Test 31 bis 41 % weniger Tokens als minifiziertes JSON. Verschachtelte Daten bleiben JSON. Prüfen Sie, ob das Modell die Spalten weiterhin richtig liest.

Verlauf. Jede vergangene Runde wird erneut gesendet. Das Ersetzen von 16 alten Runden durch eine dreizeilige Zusammenfassung, wobei die letzten vier Runden wörtlich erhalten blieben, verkürzte den Qwen-Prompt von 2.693 auf 1.103 Tokens. Eine Zusammenfassung verliert Details, auf die der Nutzer sich später beziehen könnte, und ihr Umschreiben ändert das Präfix, was das Caching bricht. Kontextmanagement bei lang laufenden Agenten behandelt, wann man verdichten sollte.

Arabische Diakritika. Das meiste Arabisch wird ohne kurze Vokale geschrieben. Ist Ihr Input vollständig vokalisiert, etwa aus einem Wörterbuch, Lehrbuch oder einer religiösen Quelle, verkürzte das Entfernen der Zeichen (U+064B bis U+0652) unseren Absatz um 59 bis 72 %. Behalten Sie sie, wenn die Aufgabe davon abhängt, etwa Unterricht oder Lyrik. Normalisierung arabischer Texte behandelt die anderen Zeichen, deren Normalisierung sich lohnt, und Tokens pro Wort auf Arabisch den größeren Abstand zum Englischen.

Wo passt Caching hinein?

Caching verkleinert den Prompt nicht. Es macht den wiederholten Teil günstiger. Der Caching-Leitfaden von OpenAI sagt, dass „the entire rendered prefix“ (Übersetzung: „das gesamte gerenderte Präfix“) übereinstimmen muss, und rät, stabile Anweisungen an den Anfang zu stellen. Die Preisseite von BroadNet beschreibt gecachten Input als „usually the repeated start of recent requests, such as a long system prompt“ (Übersetzung: „meist der wiederholte Anfang kürzlicher Anfragen, etwa ein langer System-Prompt“), ohne dass etwas einzurichten ist, und die Dokumentation meldet Treffer in usage.prompt_tokens_details.cached_tokens.

Die Reihenfolge lautet also: zuerst kürzen, dann das gekürzte Präfix stabil halten. System-Prompt und Tools zuerst, bei jedem Aufruf byte-identisch; danach der Verlauf, nur ergänzt; die neue Nachricht zuletzt. Bei Qwen3.8 27B kostet gecachter Input $0.0435 pro 1 Mio. gegenüber $0.175. Prompt-Struktur für Caching zeigt den Aufbau und einen Test, der belegt, dass das Präfix wiederverwendet wird. Gecachte Tokens zählen weiterhin zum Kontextfenster.

Wie messen Sie Ihren eigenen Prompt?

Beginnen Sie bei der Rechnung. Loggen Sie einen Tag lang usage.prompt_tokens pro Aufrufstelle und finden Sie die größte. Vergleichen Sie dann Versionen lokal mit diesem Skript, das die Zählungen vorher und nachher für zwei Dateien ausgibt:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Auf unsere beiden System-Prompts angewandt, gab es aus:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Ergänzen Sie die Repositories der anderen Modelle aus den Quellen, um alle vier zu vergleichen. Für eine schnelle Prüfung im Browser vergleicht der Prompt-Token-Diff zwei Versionen nebeneinander, und der Token-Zähler zählt eine. Bestätigen Sie die Ersparnis nach dem Deployment in usage.prompt_tokens, das das Template mitzählt.

Wo BroadNet Inference hineinpasst

BroadRouter ist die Website von BroadNet. BroadNet Inference berechnet Prompt-Tokens zum Input-Preis des jeweiligen Modells und liest wiederholte Präfixe zum Cache-Preis aus dem Cache, wo das Modell einen hat; sowohl kürzere Prompts als auch stabile Präfixe senken also die Rechnung. Gemma 4 VL 26B hat einen Kontext von 32.768 Tokens, wo Kürzen nicht nur für die Kosten, sondern auch dafür zählt, ob alles hineinpasst. In den Plänen für DeepSeek V4.1 Flash gibt es keinen Token-Zähler, der Kontext von 1.048.576 Tokens gilt aber weiterhin, und ein kürzerer Prompt liefert trotzdem schneller eine Antwort. Prompts werden nach jeder Anfrage nicht gespeichert.

Häufige Fragen

Wie reduziere ich die Anzahl der Tokens in meinem Prompt?

Messen Sie zuerst: Loggen Sie usage.prompt_tokens und finden Sie den größten Teil. Dann, geordnet nach der gemessenen Ersparnis: Senden Sie nur die Tools, die ein Schritt braucht, kürzen Sie die Formulierungen in Tools und System-Prompt, senden Sie Tabellen als CSV statt JSON, beschränken Sie Few-Shot-Beispiele auf die, die Ergebnisse verändern, und fassen Sie alte Chat-Runden zusammen.

Braucht formatiertes JSON mehr Tokens?

Ja. In unserem Test sparte das Minifizieren von 40 Zeilen eingerücktem JSON je nach Tokenizer 34 bis 38 % der Tokens, das Senden als CSV 57 bis 61 %. Umgekehrt formuliert: Eingerücktes JSON brauchte 52 bis 61 % mehr Tokens als minifiziertes JSON und 132 bis 159 % mehr als CSV. Tool-Schemas sind eine Ausnahme: Chat-Templates serialisieren sie neu, die Einrückung in Ihrem tools-Array erreicht das Modell also nicht.

Wie viele Tokens verbrauchen Tool-Definitionen?

Das hängt von der Formulierung und dem Template des Modells ab. Unsere 10 Tools mit ausführlichen Beschreibungen fügten einem gerenderten Prompt bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B etwa 1.200 bis 1.400 Tokens hinzu. Drei Tools mit kurzen Beschreibungen fügten etwa 320 bis 460 hinzu.

Erhöhen arabische Diakritika die Token-Anzahl?

Deutlich. Ein MSA-Absatz mit 31 Wörtern brauchte über fünf Tokenizer hinweg 62 bis 78 Tokens ohne Diakritika und 151 bis 267 Tokens vollständig vokalisiert. Der meiste arabische Text wird ohne sie geschrieben; entfernen Sie sie also aus dem Input, sofern die Aufgabe, etwa Lyrik oder Unterricht, sie nicht braucht.

Ist Prompt Caching besser, als den Prompt zu kürzen?

Beides wirkt zusammen. Caching macht ein wiederholtes Präfix günstiger, es zählt aber weiterhin zum Kontextfenster und hat weiterhin einen Preis. Kürzen Sie zuerst und halten Sie das gekürzte Präfix dann am Anfang jeder Anfrage byte-identisch, damit es aus dem Cache gelesen werden kann.

Warum weicht meine Token-Zählung von prompt_tokens der API ab?

Die API zählt den gerenderten Prompt: Ihre Nachrichten, eingebettet in das Chat-Template, plus Tool-Schemas im Format des Templates. Ein Tokenizer über Ihren Rohtext erfasst das nicht. Nutzen Sie den Tokenizer, um Versionen zu vergleichen, und usage.prompt_tokens für die Rechnung.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen