Modelle sehen keine Buchstaben oder Wörter. Sie sehen eine Folge von Ganzzahlen, die jeweils für ein Textstück aus einem festen Vokabular stehen. Diese Stücke sind Tokens.
So funktioniert es
Ein Tokenizer zerlegt Text, bevor das Modell ihn liest. Die meisten aktuellen Modelle nutzen Subword-Verfahren wie Byte Pair Encoding (BPE). Häufige Wörter bleiben ganz, seltene werden in Teile zerlegt. Das Beispiel von Hugging Face: annoyingly kann zu annoying und ly werden.
Byte-level BPE beginnt mit 256 Bytewerten. Damit lässt sich jede Eingabe kodieren, auch Emojis und jede Schrift.
Für Englisch lautet die Faustregel von OpenAI: etwa 4 Zeichen oder 0,75 Wörter pro Token, also rund 75 Wörter pro 100 Tokens. Unsere eigene Messung englischer Texte mit fünf aktuellen Tokenizern ergab etwa 129 Tokens pro 100 Wörter oder 1,290 Tokens pro 1.000 Wörter, nah an der Faustregel. Beide Verhältnisse sind nur Schätzungen:
- Andere Sprachen, auch Arabisch, zerfallen bei Tokenizern, die überwiegend mit Englisch trainiert wurden, oft in mehr Tokens pro Wort.
- Code, Zahlen und Leerzeichen werden anders tokenisiert als Fließtext.
- Jede Modellfamilie hat ihr eigenes Vokabular.
Für eine Schätzung vor dem Senden fügen Sie den Text in den Token-Zähler ein. Die tatsächliche Zahl meldet die API im Block usage jeder Antwort:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Warum es wichtig ist
Tokens sind die Einheit hinter fast jeder Zahl einer LLM-API:
- Preis. APIs mit Abrechnung pro Token berechnen pro 1 Mio. Input- und Output-Tokens, oft zu unterschiedlichen Preisen.
- Limits. Das Kontextfenster und
max_tokenswerden in Tokens gemessen, und viele Rate Limits zählen Tokens pro Minute. - Geschwindigkeit. Die Generierungsgeschwindigkeit wird in Tokens pro Sekunde angegeben.
Derselbe Text kann bei verschiedenen Modellen unterschiedlich viele Tokens ergeben, besonders auf Arabisch. Der Datensatz zur Tokenizer-Effizienz misst die Tokens pro 100 Wörter für jedes Modell auf Englisch, Arabisch und in Code.
Bei BroadNet Inference
Chatmodelle werden pro 1 Mio. Tokens berechnet. Bei DeepSeek V4.1 Flash kostet neuer Input $0.175, gecachter Input $0.0055 und Output $0.52. BroadNet Gemma 4 VL 26B kostet $0.10 Input und $0.22 Output. Die Preise aller Modelle stehen auf der Preisseite.
Bei einem Flatrate-Plan werden Tokens gar nicht gezählt: Eine Session mit DeepSeek V4.1 Flash hat keinen Token-Zähler, die praktische Grenze ist die Geschwindigkeit, etwa 100 Tokens pro Sekunde. Speech-to-Text-Modelle werden pro Audiominute abgerechnet, nicht pro Token.
Häufige Fehler
- Die Kosten für nicht-englische Texte anhand von Wortzahlen schätzen. Messen Sie stattdessen mit
usagean echten Beispielen. - Vergessen, dass Reasoning-Modelle auch für das Nachdenken Output-Tokens verbrauchen. Siehe Reasoning-Tokens.