---
title: "Was ist Byte Pair Encoding (BPE) bei LLM-Tokenizern?"
description: "Byte Pair Encoding baut ein Tokenizer-Vokabular, indem es die häufigsten Symbolpaare zusammenführt. So funktioniert BPE und darum braucht Arabisch mehr Tokens."
url: https://broadrouter.com/de/glossary/bpe/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/bpe/) (aktualisiert am 2026-11-16).

# Byte Pair Encoding (BPE)

Aktualisiert 2026-11-16

Byte Pair Encoding (BPE) ist ein Algorithmus zur Subwort-Tokenisierung, der bei einzelnen Zeichen oder Bytes beginnt und wiederholt das häufigste benachbarte Paar zu einem neuen Vokabulareintrag zusammenführt, bis eine Zielgröße des Vokabulars erreicht ist. Die meisten aktuellen LLM-Tokenizer nutzen BPE oder eine Byte-Level-Variante.

Auch genannt: BPE, Byte-Pair-Encoding, Bytepaar-Kodierung, Byte-Level-BPE, BPE-Tokenisierung, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte Pair Encoding ist das Rezept hinter den meisten LLM-[Tokenizern](https://broadrouter.com/de/glossary/tokenizer/): lernen, welche Textstücke oft zusammen auftreten, und jedem häufigen Stück ein eigenes Token geben.

## So funktioniert es

Sennrich, Haddow und Birch (2015) wandten BPE, ursprünglich ein Kompressionsverfahren, auf die Übersetzung an. Ihr Punkt: Namen, Komposita und seltene Wörter lassen sich aus kleineren Einheiten bauen, ein Modell braucht also nicht für jedes Wort einen Wörterbucheintrag.

Das Training eines BPE-Vokabulars folgt einer einfachen Schleife, die die Dokumentation von Hugging Face Schritt für Schritt zeigt:

1.  Worthäufigkeiten in einem Trainingskorpus zählen, zum Beispiel `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Mit einzelnen Zeichen beginnen: `b g h n p s u`.
3.  Das häufigste benachbarte Paar finden. `u` + `g` kommt 20-mal vor, also wird `ug` hinzugefügt.
4.  Wiederholen. `u` + `n` (16-mal) wird zu `un`.
5.  Bei der Ziel-[Vokabulargröße](https://broadrouter.com/de/glossary/vocabulary-size/) aufhören; sie entspricht den Basissymbolen plus der Zahl der Merges.

Um neuen Text zu kodieren, wendet der Tokenizer die gelernten Merges in derselben Reihenfolge an. Die Kodierung ist deterministisch: Derselbe Text ergibt immer dieselben Tokens.

**Byte-Level-BPE** beginnt bei den 256 Byte-Werten statt bei Zeichen. Damit ist jeder mögliche String kodierbar. Das Vokabular von GPT-2 umfasste 256 Bytes + 50.000 Merges + 1 End-of-Text-Token = 50.257.

## Warum es wichtig ist

BPE erklärt mehrere Dinge, die Sie auf einer API-Rechnung sehen:

-   **Häufige englische Wörter sind ein Token**, weil ihre Paare früh zusammengeführt wurden.
-   **Seltene Wörter, Tippfehler und nicht-lateinische Schriften zerfallen in mehr Tokens.** In UTF-8 belegt ein arabischer Buchstabe 2 Bytes; ein Byte-Level-Tokenizer, der wenige arabische Merges gelernt hat, braucht also mehr Tokens pro Wort.
-   **Die Zahlen unterscheiden sich je nach Modell.** Jedes Modell lernt eigene Merges aus eigenen Daten.

Unsere Messung vom 2026-11-14 zeigt den Effekt. Derselbe Chat im Golf-Dialekt mit 117 Wörtern ergab 276 Tokens bei GLM 5.3 und 229 bei Qwen3.8 27B. Das sind 276 / 117 x 100 = 235,9 gegenüber 229 / 117 x 100 = 195,7 Tokens pro 100 Wörter. Die englische Übersetzung dieses Chats kostete 202 bzw. 208 Tokens, fast gleich viel.

## Bei BroadNet Inference

Einen Tokenizer wählen Sie bei BroadNet nicht; jedes Modell nutzt seinen eigenen. Vergleichen Sie die Zahlen für Ihren echten Text im [arabischen Token-Zähler](https://broadrouter.com/tools/arabic-token-counter/), bevor Sie ein Modell für arabischen Traffic wählen, und lesen Sie [Tokens pro Wort auf Arabisch und Englisch](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/) für die vollständige Tabelle. Denken Sie daran: Der Preis richtet sich nach der Zahl der [Tokens](https://broadrouter.com/de/glossary/token/), nicht der Wörter.

## Häufige Fragen

### Wer hat BPE für Sprachmodelle erfunden?

BPE begann als Algorithmus zur Datenkompression. Sennrich, Haddow und Birch haben es 2015 angepasst, um seltene Wörter für neuronale maschinelle Übersetzung in Subwort-Einheiten zu zerlegen, und aus dieser Arbeit sind die Tokenizer von LLMs hervorgegangen.

### Was ist Byte-Level-BPE?

Ein BPE-Tokenizer, dessen Basisvokabular aus den 256 möglichen Byte-Werten statt aus Zeichen besteht, sodass sich jeder Text in jeder Schrift ohne Unknown-Token kodieren lässt. GPT-2 nutzte ihn mit 50.257 Einträgen.

### Warum erzeugt BPE für Arabisch mehr Tokens als für Englisch?

Die Merges werden aus Trainingsdaten gelernt. Hat ein Tokenizer weniger Arabisch gesehen, wurden weniger arabische Paare zusammengeführt, und arabische Wörter zerfallen in mehr Stücke.

## Siehe auch

-   [Tokenizer](https://broadrouter.com/de/glossary/tokenizer/) (Begriff)
-   [Vokabulargröße (vocabulary size)](https://broadrouter.com/de/glossary/vocabulary-size/) (Begriff)
-   [Token](https://broadrouter.com/de/glossary/token/) (Begriff)
-   [Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/) (Begriff)
-   [Tokens pro Wort, Arabisch vs. Englisch: Warum Arabisch mehr kostet](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/) (Artikel)
-   [Tokens zählen, bevor Sie eine LLM-Anfrage senden](https://broadrouter.com/de/blog/count-tokens-before-sending/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-bpe&utm_content=page-cta) ·

**Quellen**

-   [Sennrich, Haddow und Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (geprüft am 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, Tokenisierungsalgorithmen (BPE und Byte-Level-BPE) (geprüft am 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
