Kürzere Prompts kosten weniger, lassen mehr vom Kontextfenster für die eigentliche Arbeit übrig und liefern das erste Token meist früher. Aber „machen Sie den Prompt kürzer“ ist ein vager Rat. Dieser Beitrag misst gängige Kürzungen an einem realistischen Prompt für einen Support-Bot, mit den echten Tokenizern von vier offenen Modellen und o200k_base von OpenAI, damit Sie sehen, welche Änderungen sich lohnen.
Betreiben Sie einen Coding-Agenten, behandelt das Token-Budget für Agenten diese Schleife. In diesem Beitrag geht es um Anwendungs-Prompts: Chatbots, Klassifikatoren und Extraktionsjobs.
Wie haben wir gemessen?
Alle folgenden Zählungen stammen von uns, erstellt am 15. November 2026:
- Tokenizer. Die offiziellen
tokenizer.json-Dateien von DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B und Gemma 4 26B A4B von Google, jeweils in einer festgelegten Hugging-Face-Revision (siehe Quellen), geladen mit Hugging Facetokenizers0.23.3. Dazuo200k_baseaustiktoken0.14.0, zum Vergleich mit GPT-Modellen. Spezial-Tokens wurden nicht hinzugefügt. - Gerenderte Prompts. Für DeepSeek, GLM und Qwen haben wir außerdem vollständige Anfragen durch das veröffentlichte
chat_template.jinjajedes Modells gerendert (Jinja2-Sandbox), mit System-Prompt, Tools, Verlauf und Frage, und das Ergebnis gezählt. Das kommt dem nahe, was ein Server tokenisiert, aber ein Anbieter kann ein anderes Template verwenden; maßgeblich bleibt alsousage.prompt_tokensder API. - Text. Ein synthetischer Support-Bot für ein fiktives Telekommunikationsunternehmen: ein System-Prompt mit 261 Wörtern, 10 Tools, 8 Few-Shot-Beispiele, 40 Bestellzeilen, ein Verlauf mit 20 Runden und ein arabischer Absatz mit 31 Wörtern. Ein Prompt ist ein Datenpunkt. Ihre Ersparnis wird abweichen; die Methode lässt sich übertragen.
Gemma 4 VL 26B von BroadNet basiert auf dem Modell von Google, seine Zählung ist also eine Schätzung. Die anderen nutzen die eigenen Dateien der Modelle.
Welche Kürzungen sparen die meisten Tokens?
Rohtext, vorher → nachher, mit dem eingesparten Anteil:
| Änderung | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| System-Prompt: 261 Wörter → 66 Wörter | 295 → 88 (70 %) | 294 → 89 (70 %) | 297 → 95 (68 %) | 297 → 96 (68 %) | 293 → 86 (71 %) |
| Few-Shot: 8 Beispiele → 3 | 157 → 69 (56 %) | 157 → 69 (56 %) | 156 → 71 (54 %) | 156 → 71 (54 %) | 152 → 69 (55 %) |
| 40 Zeilen: eingerücktes JSON → minifiziertes JSON | 2.446 → 1.606 (34 %) | 2.460 → 1.581 (36 %) | 3.180 → 1.980 (38 %) | 3.210 → 2.010 (37 %) | 2.446 → 1.567 (36 %) |
| 40 Zeilen: minifiziertes JSON → CSV | 1.606 → 948 (41 %) | 1.581 → 960 (39 %) | 1.980 → 1.359 (31 %) | 2.010 → 1.382 (31 %) | 1.567 → 946 (40 %) |
| 10 Tools: ausführliche → kurze Beschreibungen | 1.224 → 806 (34 %) | 1.214 → 797 (34 %) | 1.225 → 806 (34 %) | 1.252 → 827 (34 %) | 1.202 → 796 (34 %) |
| 10 ausführliche Tools → 3 kurze | 1.224 → 258 (79 %) | 1.214 → 257 (79 %) | 1.225 → 266 (78 %) | 1.252 → 276 (78 %) | 1.202 → 255 (79 %) |
| Arabischer Absatz: vollständig vokalisiert → ohne Vokalzeichen | 193 → 74 (62 %) | 267 → 78 (71 %) | 151 → 62 (59 %) | 180 → 64 (64 %) | 218 → 62 (72 %) |
Bei englischer Prosa sind die Prozentwerte über die Tokenizer hinweg ähnlich; eine Kürzung, die bei einem Modell hilft, hilft also auch bei den anderen. Zwei Zeilen durchbrechen dieses Muster. Die Bestelldaten kosteten Qwen und Gemma in jedem Format 23 bis 46 % mehr Tokens als DeepSeek und GLM, weil deren Tokenizer Zahlen in einzelne Ziffern zerlegen: 100200 sind bei Qwen 6 Tokens, bei DeepSeek 2. Und arabische Diakritika treffen manche Tokenizer weit härter als andere.
Wie sieht eine vollständige Anfrage aus?
Rohtext lässt das Chat-Template außen vor. Gerendert durch das eigene Template jedes Modells, mit derselben Kundenfrage, ergab die Messung des vollständigen Prompts:
| Anfrage | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. Ausführlicher System-Prompt + 10 ausführliche Tools | 1.677 | 1.535 | 1.797 |
| B. Gekürzter System-Prompt + 10 kurze Tools | 1.052 | 913 | 1.176 |
| C. Gekürzter System-Prompt + 3 kurze Tools | 574 | 443 | 636 |
| D. Gekürzter System-Prompt, keine Tools | 136 | 121 | 174 |
| C + 20 frühere Runden vollständig | 2.374 | 2.243 | 2.693 |
| C + dreizeilige Zusammenfassung + letzte 4 Runden | 979 | 849 | 1.103 |
Der Schritt von A zu C sparte etwa 65 bis 71 % jeder Anfrage (64,6 % bei Qwen, 71,1 % bei GLM). Das meiste davon kam von den Tools. Mit dem ausführlichen System-Prompt gerendert, fügten die 10 ausführlichen Tools bei DeepSeek 1.334 Tokens hinzu, bei GLM 1.209 und bei Qwen 1.421; die 3 kurzen Tools in C fügten gegenüber D 322 bis 462 hinzu. Schemas für Tool Calling fahren bei jeder Anfrage mit, ob das Modell sie nutzt oder nicht.
Bei Volumen summiert sich das. Bei Qwen3.8 27B spart der Schritt von A zu C 1.161 Tokens pro Anfrage. Bei 100.000 Anfragen im Monat sind das etwa 116 Millionen Input-Tokens, also 116 × $0.175 im Monat zum Standard-Input-Preis.
Wie kürzen Sie einen System-Prompt, ohne ihn kaputtzumachen?
Unser Prompt mit 261 Wörtern und der mit 66 Wörtern enthalten dieselben sieben Regeln. Die Kürzungen waren alle von derselben Art:
- Höflichkeiten gegenüber dem Modell streichen. Aus „It is very important that you always remain polite and courteous at all times“ (Übersetzung: „Es ist sehr wichtig, dass Sie jederzeit höflich und zuvorkommend bleiben“) wurde nichts: Die Rollenzeile impliziert es bereits.
- Eine Regel pro Zeile. Aufzählungspunkte ersetzen Sätze wie „Please make sure that you always…“ (Übersetzung: „Bitte stellen Sie sicher, dass Sie immer …“).
- Doppeltes zusammenführen. Drei Sätze über die Sprache wurden zu „Reply in the customer’s language (Arabic or English), briefly.“ (Übersetzung: „Antworte kurz in der Sprache des Kunden (Arabisch oder Englisch).“)
- Wiederholte Standardvorgaben löschen. „Remember to always be helpful!“ (Übersetzung: „Denk daran, immer hilfsbereit zu sein!“) ändert nichts.
Dann testen. Ein kürzerer Prompt, der eine Regel verliert, kostet mehr, als er spart. Lassen Sie beide Versionen über dieselben 50 bis 100 echten Eingaben laufen und vergleichen Sie, wie in ein LLM vor dem Wechsel evaluieren beschrieben.
Wie viele Few-Shot-Beispiele brauchen Sie?
Weniger, als die meisten Prompts enthalten. Jedes Few-Shot-Beispiel wird bei jedem Aufruf bezahlt. Behalten Sie die, die einen Fehler beheben, den das Modell ohne sie macht, etwa ein Dialektbeispiel für einen arabischen Klassifikator, und streichen Sie die, die es ohnehin richtig macht. Unsere Kürzung von 8 auf 3 sparte 54 bis 56 % des Beispielblocks. Ob 3 für Ihre Aufgabe genügen, ist eine Frage der Genauigkeit, nicht der Tokens; prüfen Sie es also mit Ihrem Testset.
Sollten Sie Tools, Daten und Verlauf anders senden?
Tools. Senden Sie nur die Tools, die der aktuelle Schritt nutzen kann. Eine Rechnungsfrage braucht get_account, get_bill und create_ticket, nicht order_esim. Kürzen Sie Beschreibungen auf das, was das Modell braucht, um das Tool auszuwählen und zu befüllen. Die Einrückung spielt hier keine Rolle: Die Templates, die wir gerendert haben, serialisieren das tools-Array alle mit tojson neu, ein formatiertes tools-Array kostet also so viel wie ein minifiziertes.
Daten in Nachrichten. Daten, die Sie in eine Nachricht einfügen, werden so gesendet, wie sie geschrieben sind. Minifizieren Sie JSON mindestens. Bei flachen Datensätzen lässt CSV oder TSV die wiederholten Schlüssel weg: In unserem Test 31 bis 41 % weniger Tokens als minifiziertes JSON. Verschachtelte Daten bleiben JSON. Prüfen Sie, ob das Modell die Spalten weiterhin richtig liest.
Verlauf. Jede vergangene Runde wird erneut gesendet. Das Ersetzen von 16 alten Runden durch eine dreizeilige Zusammenfassung, wobei die letzten vier Runden wörtlich erhalten blieben, verkürzte den Qwen-Prompt von 2.693 auf 1.103 Tokens. Eine Zusammenfassung verliert Details, auf die der Nutzer sich später beziehen könnte, und ihr Umschreiben ändert das Präfix, was das Caching bricht. Kontextmanagement bei lang laufenden Agenten behandelt, wann man verdichten sollte.
Arabische Diakritika. Das meiste Arabisch wird ohne kurze Vokale geschrieben. Ist Ihr Input vollständig vokalisiert, etwa aus einem Wörterbuch, Lehrbuch oder einer religiösen Quelle, verkürzte das Entfernen der Zeichen (U+064B bis U+0652) unseren Absatz um 59 bis 72 %. Behalten Sie sie, wenn die Aufgabe davon abhängt, etwa Unterricht oder Lyrik. Normalisierung arabischer Texte behandelt die anderen Zeichen, deren Normalisierung sich lohnt, und Tokens pro Wort auf Arabisch den größeren Abstand zum Englischen.
Wo passt Caching hinein?
Caching verkleinert den Prompt nicht. Es macht den wiederholten Teil günstiger. Der Caching-Leitfaden von OpenAI sagt, dass „the entire rendered prefix“ (Übersetzung: „das gesamte gerenderte Präfix“) übereinstimmen muss, und rät, stabile Anweisungen an den Anfang zu stellen. Die Preisseite von BroadNet beschreibt gecachten Input als „usually the repeated start of recent requests, such as a long system prompt“ (Übersetzung: „meist der wiederholte Anfang kürzlicher Anfragen, etwa ein langer System-Prompt“), ohne dass etwas einzurichten ist, und die Dokumentation meldet Treffer in usage.prompt_tokens_details.cached_tokens.
Die Reihenfolge lautet also: zuerst kürzen, dann das gekürzte Präfix stabil halten. System-Prompt und Tools zuerst, bei jedem Aufruf byte-identisch; danach der Verlauf, nur ergänzt; die neue Nachricht zuletzt. Bei Qwen3.8 27B kostet gecachter Input $0.0435 pro 1 Mio. gegenüber $0.175. Prompt-Struktur für Caching zeigt den Aufbau und einen Test, der belegt, dass das Präfix wiederverwendet wird. Gecachte Tokens zählen weiterhin zum Kontextfenster.
Wie messen Sie Ihren eigenen Prompt?
Beginnen Sie bei der Rechnung. Loggen Sie einen Tag lang usage.prompt_tokens pro Aufrufstelle und finden Sie die größte. Vergleichen Sie dann Versionen lokal mit diesem Skript, das die Zählungen vorher und nachher für zwei Dateien ausgibt:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
Auf unsere beiden System-Prompts angewandt, gab es aus:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Ergänzen Sie die Repositories der anderen Modelle aus den Quellen, um alle vier zu vergleichen. Für eine schnelle Prüfung im Browser vergleicht der Prompt-Token-Diff zwei Versionen nebeneinander, und der Token-Zähler zählt eine. Bestätigen Sie die Ersparnis nach dem Deployment in usage.prompt_tokens, das das Template mitzählt.
Wo BroadNet Inference hineinpasst
BroadRouter ist die Website von BroadNet. BroadNet Inference berechnet Prompt-Tokens zum Input-Preis des jeweiligen Modells und liest wiederholte Präfixe zum Cache-Preis aus dem Cache, wo das Modell einen hat; sowohl kürzere Prompts als auch stabile Präfixe senken also die Rechnung. Gemma 4 VL 26B hat einen Kontext von 32.768 Tokens, wo Kürzen nicht nur für die Kosten, sondern auch dafür zählt, ob alles hineinpasst. In den Plänen für DeepSeek V4.1 Flash gibt es keinen Token-Zähler, der Kontext von 1.048.576 Tokens gilt aber weiterhin, und ein kürzerer Prompt liefert trotzdem schneller eine Antwort. Prompts werden nach jeder Anfrage nicht gespeichert.
