BroadRouter
Loslegen

Byte Pair Encoding (BPE)

Aktualisiert

Byte Pair Encoding (BPE) ist ein Algorithmus zur Subwort-Tokenisierung, der bei einzelnen Zeichen oder Bytes beginnt und wiederholt das häufigste benachbarte Paar zu einem neuen Vokabulareintrag zusammenführt, bis eine Zielgröße des Vokabulars erreicht ist. Die meisten aktuellen LLM-Tokenizer nutzen BPE oder eine Byte-Level-Variante.

Auch genannt: BPE, Byte-Pair-Encoding, Bytepaar-Kodierung, Byte-Level-BPE, BPE-Tokenisierung, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte Pair Encoding ist das Rezept hinter den meisten LLM-Tokenizern: lernen, welche Textstücke oft zusammen auftreten, und jedem häufigen Stück ein eigenes Token geben.

So funktioniert es

Sennrich, Haddow und Birch (2015) wandten BPE, ursprünglich ein Kompressionsverfahren, auf die Übersetzung an. Ihr Punkt: Namen, Komposita und seltene Wörter lassen sich aus kleineren Einheiten bauen, ein Modell braucht also nicht für jedes Wort einen Wörterbucheintrag.

Das Training eines BPE-Vokabulars folgt einer einfachen Schleife, die die Dokumentation von Hugging Face Schritt für Schritt zeigt:

  1. Worthäufigkeiten in einem Trainingskorpus zählen, zum Beispiel hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Mit einzelnen Zeichen beginnen: b g h n p s u.
  3. Das häufigste benachbarte Paar finden. u + g kommt 20-mal vor, also wird ug hinzugefügt.
  4. Wiederholen. u + n (16-mal) wird zu un.
  5. Bei der Ziel-Vokabulargröße aufhören; sie entspricht den Basissymbolen plus der Zahl der Merges.

Um neuen Text zu kodieren, wendet der Tokenizer die gelernten Merges in derselben Reihenfolge an. Die Kodierung ist deterministisch: Derselbe Text ergibt immer dieselben Tokens.

Byte-Level-BPE beginnt bei den 256 Byte-Werten statt bei Zeichen. Damit ist jeder mögliche String kodierbar. Das Vokabular von GPT-2 umfasste 256 Bytes + 50.000 Merges + 1 End-of-Text-Token = 50.257.

Warum es wichtig ist

BPE erklärt mehrere Dinge, die Sie auf einer API-Rechnung sehen:

  • Häufige englische Wörter sind ein Token, weil ihre Paare früh zusammengeführt wurden.
  • Seltene Wörter, Tippfehler und nicht-lateinische Schriften zerfallen in mehr Tokens. In UTF-8 belegt ein arabischer Buchstabe 2 Bytes; ein Byte-Level-Tokenizer, der wenige arabische Merges gelernt hat, braucht also mehr Tokens pro Wort.
  • Die Zahlen unterscheiden sich je nach Modell. Jedes Modell lernt eigene Merges aus eigenen Daten.

Unsere Messung vom 2026-11-14 zeigt den Effekt. Derselbe Chat im Golf-Dialekt mit 117 Wörtern ergab 276 Tokens bei GLM 5.3 und 229 bei Qwen3.8 27B. Das sind 276 / 117 x 100 = 235,9 gegenüber 229 / 117 x 100 = 195,7 Tokens pro 100 Wörter. Die englische Übersetzung dieses Chats kostete 202 bzw. 208 Tokens, fast gleich viel.

Bei BroadNet Inference

Einen Tokenizer wählen Sie bei BroadNet nicht; jedes Modell nutzt seinen eigenen. Vergleichen Sie die Zahlen für Ihren echten Text im arabischen Token-Zähler, bevor Sie ein Modell für arabischen Traffic wählen, und lesen Sie Tokens pro Wort auf Arabisch und Englisch für die vollständige Tabelle. Denken Sie daran: Der Preis richtet sich nach der Zahl der Tokens, nicht der Wörter.

Häufige Fragen

Wer hat BPE für Sprachmodelle erfunden?

BPE begann als Algorithmus zur Datenkompression. Sennrich, Haddow und Birch haben es 2015 angepasst, um seltene Wörter für neuronale maschinelle Übersetzung in Subwort-Einheiten zu zerlegen, und aus dieser Arbeit sind die Tokenizer von LLMs hervorgegangen.

Was ist Byte-Level-BPE?

Ein BPE-Tokenizer, dessen Basisvokabular aus den 256 möglichen Byte-Werten statt aus Zeichen besteht, sodass sich jeder Text in jeder Schrift ohne Unknown-Token kodieren lässt. GPT-2 nutzte ihn mit 50.257 Einträgen.

Warum erzeugt BPE für Arabisch mehr Tokens als für Englisch?

Die Merges werden aus Trainingsdaten gelernt. Hat ein Tokenizer weniger Arabisch gesehen, wurden weniger arabische Paare zusammengeführt, und arabische Wörter zerfallen in mehr Stücke.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen