Ein Tokenizer entscheidet, wie viele Tokens aus Ihrem Text werden, und damit, wie viel vom Kontextfenster und von der Rechnung er verbraucht.
So funktioniert es
Ein Tokenizer hat zwei Teile: ein festes Vokabular, das Textstücke auf ganzzahlige IDs abbildet, und Regeln, nach denen Text in diese Stücke zerlegt wird. Die Dokumentation von Hugging Face beschreibt die gängigen Algorithmen als Subword-Verfahren: Häufige Wörter bleiben ganz, seltene werden in kleinere bekannte Stücke zerlegt, sodass aus „annoyingly“ „annoying“ + „ly“ werden kann. Die meisten aktuellen LLMs nutzen Byte Pair Encoding oder eine Variante davon.
Das Encoding läuft in drei Schritten:
- Pre-Tokenisierung. An Leerzeichen, Satzzeichen und Ziffern trennen.
- Stücke auf IDs abbilden. Die gelernten Merges anwenden und jedes Stück im Vokabular nachschlagen.
- Spezielle Tokens hinzufügen. Das Chat-Template umgibt Nachrichten mit Rollenmarkern, die ebenfalls zählen.
Das Decoding kehrt Schritt 2 um. Bei Open-Weight-Modellen steckt all das in einer Datei tokenizer.json im Modell-Repo.
Warum es wichtig ist
Verschiedene Tokenizer ergeben für denselben Text unterschiedliche Zahlen. Wir haben die Texte des Datensatzes mit dem fest versionierten Tokenizer jedes Modells kodiert (Englisch: Prosa aus Wikipedia und Project Gutenberg; Arabisch: 2,009 FLORES-200-Sätze plus drei Wikipedia-Einleitungen; gemessen am 2026-11-15; Tokens pro 100 Wörter = Tokens / Wörter x 100):
| Text | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Englische Prosa, 1,183 Wörter | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabisch (MSA), 39,037 Wörter | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
Bei Englisch liegen alle nah beieinander. Bei Arabisch nicht: GLM 5.3 braucht 95,230 / 71,424 = 1.33-mal so viele Tokens wie Qwen3.8 27B für denselben Text. Bei einem Preis pro Token ist dieser Abstand ein Kostenabstand, und er verändert auch, wie viel Arabisch ins Kontextfenster passt. Die Gemma-Spalte verwendet den Basis-Tokenizer von Gemma 4 von Google; der Build von BroadNet basiert auf diesem Modell, und wir gehen davon aus, dass er den Tokenizer beibehält. Die vollständigen Zahlen pro Modell, mit CSV- und JSON-Downloads, stehen im Datensatz zur Tokenizer-Effizienz.
Bei BroadNet Inference
BroadNet rechnet Pay-as-you-go-Chat nach Input- und Output-Tokens ab und meldet die Zahlen im usage-Objekt jeder Antwort; maßgeblich ist also die Zahl, die die API zurückgibt. Für eine Schätzung vor dem Senden fügen Sie Text in den Token-Zähler oder den arabischen Token-Zähler ein, die dieselben fest versionierten Tokenizer-Dateien laden. Die vollständige Messung steht in Tokens pro Wort auf Arabisch und Englisch.
Häufige Fehler
- Mit dem Tokenizer eines Modells zählen und auf einem anderen abrechnen. Verwenden Sie den Tokenizer des Modells, das Sie aufrufen.
- Das Chat-Template vergessen. Rollenmarker und System-Prompts fügen Tokens hinzu, die reine Textzählungen übersehen.