Byte Pair Encoding ist das Rezept hinter den meisten LLM-Tokenizern: lernen, welche Textstücke oft zusammen auftreten, und jedem häufigen Stück ein eigenes Token geben.
So funktioniert es
Sennrich, Haddow und Birch (2015) wandten BPE, ursprünglich ein Kompressionsverfahren, auf die Übersetzung an. Ihr Punkt: Namen, Komposita und seltene Wörter lassen sich aus kleineren Einheiten bauen, ein Modell braucht also nicht für jedes Wort einen Wörterbucheintrag.
Das Training eines BPE-Vokabulars folgt einer einfachen Schleife, die die Dokumentation von Hugging Face Schritt für Schritt zeigt:
- Worthäufigkeiten in einem Trainingskorpus zählen, zum Beispiel
hug10,pug5,pun12,bun4,hugs5. - Mit einzelnen Zeichen beginnen:
b g h n p s u. - Das häufigste benachbarte Paar finden.
u+gkommt 20-mal vor, also wirdughinzugefügt. - Wiederholen.
u+n(16-mal) wird zuun. - Bei der Ziel-Vokabulargröße aufhören; sie entspricht den Basissymbolen plus der Zahl der Merges.
Um neuen Text zu kodieren, wendet der Tokenizer die gelernten Merges in derselben Reihenfolge an. Die Kodierung ist deterministisch: Derselbe Text ergibt immer dieselben Tokens.
Byte-Level-BPE beginnt bei den 256 Byte-Werten statt bei Zeichen. Damit ist jeder mögliche String kodierbar. Das Vokabular von GPT-2 umfasste 256 Bytes + 50.000 Merges + 1 End-of-Text-Token = 50.257.
Warum es wichtig ist
BPE erklärt mehrere Dinge, die Sie auf einer API-Rechnung sehen:
- Häufige englische Wörter sind ein Token, weil ihre Paare früh zusammengeführt wurden.
- Seltene Wörter, Tippfehler und nicht-lateinische Schriften zerfallen in mehr Tokens. In UTF-8 belegt ein arabischer Buchstabe 2 Bytes; ein Byte-Level-Tokenizer, der wenige arabische Merges gelernt hat, braucht also mehr Tokens pro Wort.
- Die Zahlen unterscheiden sich je nach Modell. Jedes Modell lernt eigene Merges aus eigenen Daten.
Unsere Messung vom 2026-11-14 zeigt den Effekt. Derselbe Chat im Golf-Dialekt mit 117 Wörtern ergab 276 Tokens bei GLM 5.3 und 229 bei Qwen3.8 27B. Das sind 276 / 117 x 100 = 235,9 gegenüber 229 / 117 x 100 = 195,7 Tokens pro 100 Wörter. Die englische Übersetzung dieses Chats kostete 202 bzw. 208 Tokens, fast gleich viel.
Bei BroadNet Inference
Einen Tokenizer wählen Sie bei BroadNet nicht; jedes Modell nutzt seinen eigenen. Vergleichen Sie die Zahlen für Ihren echten Text im arabischen Token-Zähler, bevor Sie ein Modell für arabischen Traffic wählen, und lesen Sie Tokens pro Wort auf Arabisch und Englisch für die vollständige Tabelle. Denken Sie daran: Der Preis richtet sich nach der Zahl der Tokens, nicht der Wörter.