---
title: "Was ist ein Tokenizer? Wie LLMs Text in Tokens zerlegen"
description: "Ein Tokenizer wandelt Text in die Token-IDs eines LLMs um. Wie er arbeitet und warum derselbe Text je Modell andere Token-Zahlen ergibt, mit Daten zu Arabisch."
url: https://broadrouter.com/de/glossary/tokenizer/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/tokenizer/) (aktualisiert am 2026-11-16).

# Tokenizer

Aktualisiert 2026-11-16

Ein Tokenizer ist die Komponente, die Text in die Folge ganzzahliger Token-IDs umwandelt, die ein Sprachmodell liest, und erzeugte IDs wieder in Text zurückverwandelt. Jedes Modell bringt seinen eigenen Tokenizer mit, daher kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Tokens ergeben.

Auch genannt: Tokenisierer, Tokenisierung, LLM-Tokenizer, Subword-Tokenizer, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Ein Tokenizer entscheidet, wie viele [Tokens](https://broadrouter.com/de/glossary/token/) aus Ihrem Text werden, und damit, wie viel vom Kontextfenster und von der Rechnung er verbraucht.

## So funktioniert es

Ein Tokenizer hat zwei Teile: ein festes Vokabular, das Textstücke auf ganzzahlige IDs abbildet, und Regeln, nach denen Text in diese Stücke zerlegt wird. Die Dokumentation von Hugging Face beschreibt die gängigen Algorithmen als Subword-Verfahren: Häufige Wörter bleiben ganz, seltene werden in kleinere bekannte Stücke zerlegt, sodass aus „annoyingly“ „annoying“ + „ly“ werden kann. Die meisten aktuellen LLMs nutzen [Byte Pair Encoding](https://broadrouter.com/de/glossary/bpe/) oder eine Variante davon.

Das Encoding läuft in drei Schritten:

1.  **Pre-Tokenisierung.** An Leerzeichen, Satzzeichen und Ziffern trennen.
2.  **Stücke auf IDs abbilden.** Die gelernten Merges anwenden und jedes Stück im Vokabular nachschlagen.
3.  **Spezielle Tokens hinzufügen.** Das Chat-Template umgibt Nachrichten mit Rollenmarkern, die ebenfalls zählen.

Das Decoding kehrt Schritt 2 um. Bei Open-Weight-Modellen steckt all das in einer Datei `tokenizer.json` im Modell-Repo.

## Warum es wichtig ist

Verschiedene Tokenizer ergeben für denselben Text unterschiedliche Zahlen. Wir haben die Texte des Datensatzes mit dem fest versionierten Tokenizer jedes Modells kodiert (Englisch: Prosa aus Wikipedia und Project Gutenberg; Arabisch: 2,009 FLORES-200-Sätze plus drei Wikipedia-Einleitungen; gemessen am 2026-11-15; Tokens pro 100 Wörter = Tokens / Wörter x 100):

| Text | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Englische Prosa, 1,183 Wörter | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabisch (MSA), 39,037 Wörter | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

Bei Englisch liegen alle nah beieinander. Bei Arabisch nicht: GLM 5.3 braucht 95,230 / 71,424 = 1.33-mal so viele Tokens wie Qwen3.8 27B für denselben Text. Bei einem Preis pro Token ist dieser Abstand ein Kostenabstand, und er verändert auch, wie viel Arabisch ins [Kontextfenster](https://broadrouter.com/de/glossary/context-window/) passt. Die Gemma-Spalte verwendet den Basis-Tokenizer von Gemma 4 von Google; der Build von BroadNet basiert auf diesem Modell, und wir gehen davon aus, dass er den Tokenizer beibehält. Die vollständigen Zahlen pro Modell, mit CSV- und JSON-Downloads, stehen im [Datensatz zur Tokenizer-Effizienz](https://broadrouter.com/data/tokenizer-efficiency/).

## Bei BroadNet Inference

BroadNet rechnet Pay-as-you-go-Chat nach [Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/) ab und meldet die Zahlen im `usage`\-Objekt jeder Antwort; maßgeblich ist also die Zahl, die die API zurückgibt. Für eine Schätzung vor dem Senden fügen Sie Text in den [Token-Zähler](https://broadrouter.com/tools/token-counter/) oder den [arabischen Token-Zähler](https://broadrouter.com/tools/arabic-token-counter/) ein, die dieselben fest versionierten Tokenizer-Dateien laden. Die vollständige Messung steht in [Tokens pro Wort auf Arabisch und Englisch](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/).

## Häufige Fehler

-   Mit dem Tokenizer eines Modells zählen und auf einem anderen abrechnen. Verwenden Sie den Tokenizer des Modells, das Sie aufrufen.
-   Das Chat-Template vergessen. Rollenmarker und System-Prompts fügen Tokens hinzu, die reine Textzählungen übersehen.

## Häufige Fragen

### Verwenden alle LLMs denselben Tokenizer?

Nein. Jede Modellfamilie trainiert ihren eigenen, mit eigenem Vokabular. In unserem Tokenizer-Datensatz ergaben dieselben 39,037 Wörter Arabisch bei Qwen3.8 27B 71,424 Tokens und bei GLM 5.3 95,230.

### Wo finde ich den Tokenizer eines Modells?

Bei Open-Weight-Modellen ist es die Datei tokenizer.json im Hugging-Face-Repo des Modells. Laden Sie sie mit der Hugging-Face-Bibliothek tokenizers, um Tokens exakt zu zählen.

### Ist ein Tokenizer dasselbe wie Tokenisierung?

Tokenisierung ist der Vorgang, Text in Tokens zu zerlegen. Der Tokenizer ist die Datei und der Code, die das für ein bestimmtes Modell erledigen.

## Siehe auch

-   [Token](https://broadrouter.com/de/glossary/token/) (Begriff)
-   [Byte Pair Encoding (BPE)](https://broadrouter.com/de/glossary/bpe/) (Begriff)
-   [Vokabulargröße (vocabulary size)](https://broadrouter.com/de/glossary/vocabulary-size/) (Begriff)
-   [Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/) (Begriff)
-   [Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/) (Begriff)
-   [Chat-Template](https://broadrouter.com/de/glossary/chat-template/) (Begriff)
-   [Unicode-Normalisierung](https://broadrouter.com/de/glossary/unicode-normalization/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [Tokens pro Wort, Arabisch vs. Englisch: Warum Arabisch mehr kostet](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/) (Artikel)
-   [Tokens zählen, bevor Sie eine LLM-Anfrage senden](https://broadrouter.com/de/blog/count-tokens-before-sending/) (Artikel)
-   [Prompt Engineering auf Arabisch: Register, RTL, Ziffern, Mischtext](https://broadrouter.com/de/blog/arabic-prompt-engineering/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-tokenizer&utm_content=page-cta) ·

**Quellen**

-   [Hugging Face Transformers, Tokenisierungsalgorithmen (geprüft am 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging-Face-Modell-Repo, Qwen/Qwen3.8-27B (geprüft am 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging-Face-Modell-Repo, deepseek-ai/DeepSeek-V4.1-Flash (geprüft am 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging-Face-Modell-Repo, google/gemma-4-26B-A4B-it (geprüft am 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
