BroadRouter
Loslegen

Token

Aktualisiert

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

Auch genannt: Tokens, LLM-Token, Tokenisierung, Token-Anzahl, LLM token, tokens, tokenization

Modelle sehen keine Buchstaben oder Wörter. Sie sehen eine Folge von Ganzzahlen, die jeweils für ein Textstück aus einem festen Vokabular stehen. Diese Stücke sind Tokens.

So funktioniert es

Ein Tokenizer zerlegt Text, bevor das Modell ihn liest. Die meisten aktuellen Modelle nutzen Subword-Verfahren wie Byte Pair Encoding (BPE). Häufige Wörter bleiben ganz, seltene werden in Teile zerlegt. Das Beispiel von Hugging Face: annoyingly kann zu annoying und ly werden.

Byte-level BPE beginnt mit 256 Bytewerten. Damit lässt sich jede Eingabe kodieren, auch Emojis und jede Schrift.

Für Englisch lautet die Faustregel von OpenAI: etwa 4 Zeichen oder 0,75 Wörter pro Token, also rund 75 Wörter pro 100 Tokens. Unsere eigene Messung englischer Texte mit fünf aktuellen Tokenizern ergab etwa 129 Tokens pro 100 Wörter oder 1,290 Tokens pro 1.000 Wörter, nah an der Faustregel. Beide Verhältnisse sind nur Schätzungen:

  • Andere Sprachen, auch Arabisch, zerfallen bei Tokenizern, die überwiegend mit Englisch trainiert wurden, oft in mehr Tokens pro Wort.
  • Code, Zahlen und Leerzeichen werden anders tokenisiert als Fließtext.
  • Jede Modellfamilie hat ihr eigenes Vokabular.

Für eine Schätzung vor dem Senden fügen Sie den Text in den Token-Zähler ein. Die tatsächliche Zahl meldet die API im Block usage jeder Antwort:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Warum es wichtig ist

Tokens sind die Einheit hinter fast jeder Zahl einer LLM-API:

  • Preis. APIs mit Abrechnung pro Token berechnen pro 1 Mio. Input- und Output-Tokens, oft zu unterschiedlichen Preisen.
  • Limits. Das Kontextfenster und max_tokens werden in Tokens gemessen, und viele Rate Limits zählen Tokens pro Minute.
  • Geschwindigkeit. Die Generierungsgeschwindigkeit wird in Tokens pro Sekunde angegeben.

Derselbe Text kann bei verschiedenen Modellen unterschiedlich viele Tokens ergeben, besonders auf Arabisch. Der Datensatz zur Tokenizer-Effizienz misst die Tokens pro 100 Wörter für jedes Modell auf Englisch, Arabisch und in Code.

Bei BroadNet Inference

Chatmodelle werden pro 1 Mio. Tokens berechnet. Bei DeepSeek V4.1 Flash kostet neuer Input $0.175, gecachter Input $0.0055 und Output $0.52. BroadNet Gemma 4 VL 26B kostet $0.10 Input und $0.22 Output. Die Preise aller Modelle stehen auf der Preisseite.

Bei einem Flatrate-Plan werden Tokens gar nicht gezählt: Eine Session mit DeepSeek V4.1 Flash hat keinen Token-Zähler, die praktische Grenze ist die Geschwindigkeit, etwa 100 Tokens pro Sekunde. Speech-to-Text-Modelle werden pro Audiominute abgerechnet, nicht pro Token.

Häufige Fehler

  • Die Kosten für nicht-englische Texte anhand von Wortzahlen schätzen. Messen Sie stattdessen mit usage an echten Beispielen.
  • Vergessen, dass Reasoning-Modelle auch für das Nachdenken Output-Tokens verbrauchen. Siehe Reasoning-Tokens.

Häufige Fragen

Wie viele Wörter sind 1.000 Tokens?

Bei englischem Fließtext etwa 775 Wörter, nach BroadRouters eigener Messung über fünf Tokenizer (1.000 englische Wörter ergaben etwa 1,290 Tokens). Die Faustregel von OpenAI, ein Token entspreche etwa drei Vierteln eines Wortes, ergibt 750. Andere Sprachen, Code und die Tokenizer anderer Modelle ergeben andere Verhältnisse. Zählen Sie daher mit dem Tokenizer des jeweiligen Modells, wenn es darauf ankommt.

Zählen Bilder und Audio auch als Tokens?

Bilder, die an ein Vision-Modell gehen, werden in Input-Tokens umgerechnet, und größere Bilder verbrauchen meist mehr. Speech-to-Text-APIs werden dagegen oft pro Audiominute statt pro Token abgerechnet.

Warum ergibt derselbe Text bei zwei Modellen unterschiedlich viele Tokens?

Jede Modellfamilie hat ihren eigenen Tokenizer und ihr eigenes Vokabular. Derselbe Satz kann deshalb in unterschiedlich viele Teile zerfallen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen