BroadRouter
Loslegen

Tokenizer

Aktualisiert

Ein Tokenizer ist die Komponente, die Text in die Folge ganzzahliger Token-IDs umwandelt, die ein Sprachmodell liest, und erzeugte IDs wieder in Text zurückverwandelt. Jedes Modell bringt seinen eigenen Tokenizer mit, daher kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Tokens ergeben.

Auch genannt: Tokenisierer, Tokenisierung, LLM-Tokenizer, Subword-Tokenizer, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Ein Tokenizer entscheidet, wie viele Tokens aus Ihrem Text werden, und damit, wie viel vom Kontextfenster und von der Rechnung er verbraucht.

So funktioniert es

Ein Tokenizer hat zwei Teile: ein festes Vokabular, das Textstücke auf ganzzahlige IDs abbildet, und Regeln, nach denen Text in diese Stücke zerlegt wird. Die Dokumentation von Hugging Face beschreibt die gängigen Algorithmen als Subword-Verfahren: Häufige Wörter bleiben ganz, seltene werden in kleinere bekannte Stücke zerlegt, sodass aus „annoyingly“ „annoying“ + „ly“ werden kann. Die meisten aktuellen LLMs nutzen Byte Pair Encoding oder eine Variante davon.

Das Encoding läuft in drei Schritten:

  1. Pre-Tokenisierung. An Leerzeichen, Satzzeichen und Ziffern trennen.
  2. Stücke auf IDs abbilden. Die gelernten Merges anwenden und jedes Stück im Vokabular nachschlagen.
  3. Spezielle Tokens hinzufügen. Das Chat-Template umgibt Nachrichten mit Rollenmarkern, die ebenfalls zählen.

Das Decoding kehrt Schritt 2 um. Bei Open-Weight-Modellen steckt all das in einer Datei tokenizer.json im Modell-Repo.

Warum es wichtig ist

Verschiedene Tokenizer ergeben für denselben Text unterschiedliche Zahlen. Wir haben die Texte des Datensatzes mit dem fest versionierten Tokenizer jedes Modells kodiert (Englisch: Prosa aus Wikipedia und Project Gutenberg; Arabisch: 2,009 FLORES-200-Sätze plus drei Wikipedia-Einleitungen; gemessen am 2026-11-15; Tokens pro 100 Wörter = Tokens / Wörter x 100):

Text DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Englische Prosa, 1,183 Wörter 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Arabisch (MSA), 39,037 Wörter 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

Bei Englisch liegen alle nah beieinander. Bei Arabisch nicht: GLM 5.3 braucht 95,230 / 71,424 = 1.33-mal so viele Tokens wie Qwen3.8 27B für denselben Text. Bei einem Preis pro Token ist dieser Abstand ein Kostenabstand, und er verändert auch, wie viel Arabisch ins Kontextfenster passt. Die Gemma-Spalte verwendet den Basis-Tokenizer von Gemma 4 von Google; der Build von BroadNet basiert auf diesem Modell, und wir gehen davon aus, dass er den Tokenizer beibehält. Die vollständigen Zahlen pro Modell, mit CSV- und JSON-Downloads, stehen im Datensatz zur Tokenizer-Effizienz.

Bei BroadNet Inference

BroadNet rechnet Pay-as-you-go-Chat nach Input- und Output-Tokens ab und meldet die Zahlen im usage-Objekt jeder Antwort; maßgeblich ist also die Zahl, die die API zurückgibt. Für eine Schätzung vor dem Senden fügen Sie Text in den Token-Zähler oder den arabischen Token-Zähler ein, die dieselben fest versionierten Tokenizer-Dateien laden. Die vollständige Messung steht in Tokens pro Wort auf Arabisch und Englisch.

Häufige Fehler

  • Mit dem Tokenizer eines Modells zählen und auf einem anderen abrechnen. Verwenden Sie den Tokenizer des Modells, das Sie aufrufen.
  • Das Chat-Template vergessen. Rollenmarker und System-Prompts fügen Tokens hinzu, die reine Textzählungen übersehen.

Häufige Fragen

Verwenden alle LLMs denselben Tokenizer?

Nein. Jede Modellfamilie trainiert ihren eigenen, mit eigenem Vokabular. In unserem Tokenizer-Datensatz ergaben dieselben 39,037 Wörter Arabisch bei Qwen3.8 27B 71,424 Tokens und bei GLM 5.3 95,230.

Wo finde ich den Tokenizer eines Modells?

Bei Open-Weight-Modellen ist es die Datei tokenizer.json im Hugging-Face-Repo des Modells. Laden Sie sie mit der Hugging-Face-Bibliothek tokenizers, um Tokens exakt zu zählen.

Ist ein Tokenizer dasselbe wie Tokenisierung?

Tokenisierung ist der Vorgang, Text in Tokens zu zerlegen. Der Tokenizer ist die Datei und der Code, die das für ein bestimmtes Modell erledigen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen