BroadRouter
Magsimula

Byte pair encoding (BPE)

Na-update

Ang byte pair encoding (BPE) ay subword tokenization algorithm na nagsisimula sa iisang character o byte at paulit-ulit na mina-merge ang pinakamadalas na magkatabing pares tungo sa bagong entry ng vocabulary, hanggang maabot ang target na laki ng vocabulary. BPE o byte-level na bersyon nito ang gamit ng karamihan ng LLM tokenizer ngayon.

Tinatawag ding: byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization, BPE tokenizer

Byte pair encoding ang recipe sa likod ng karamihan ng LLM tokenizer: alamin kung aling mga piraso ng text ang madalas magkasama, at bigyan ng sariling token ang bawat madalas na piraso.

Paano ito gumagana

Ginamit nina Sennrich, Haddow at Birch (2015) ang BPE, na orihinal na compression method, sa translation. Ang punto nila: mabubuo ang mga pangalan, compound at bihirang salita mula sa mas maliliit na unit, kaya hindi kailangan ng model ng dictionary entry para sa bawat salita.

Simpleng loop ang pag-train ng BPE vocabulary, na ipinapakita nang hakbang-hakbang sa dokumentasyon ng Hugging Face:

  1. Bilangin ang dalas ng mga salita sa training corpus, halimbawa hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Magsimula sa iisang character: b g h n p s u.
  3. Hanapin ang pinakamadalas na magkatabing pares. 20 beses lumalabas ang u + g, kaya idagdag ang ug.
  4. Ulitin. Nagiging un ang u + n (16 beses).
  5. Huminto sa target na laki ng vocabulary, na katumbas ng base symbols plus ang bilang ng merge.

Para i-encode ang bagong text, inilalapat ng tokenizer ang mga natutunang merge sa parehong pagkakasunod. Deterministic ang encoding: laging parehong token ang lalabas sa parehong text.

Byte-level BPE ang nagsisimula sa 256 byte value sa halip na mga character. Kaya nitong i-encode ang anumang string. Ang vocabulary ng GPT-2 ay 256 byte + 50,000 merge + 1 end-of-text token = 50,257.

Bakit ito mahalaga

Ipinapaliwanag ng BPE ang ilang bagay na nakikita mo sa API bill:

  • Isang token lang ang mga karaniwang salita sa English, dahil maagang na-merge ang mga pares nito.
  • Nahahati sa mas maraming token ang mga bihirang salita, typo at hindi Latin na script. Sa UTF-8, 2 byte ang isang titik ng Arabic, kaya mas maraming token kada salita ang nagagastos ng byte-level tokenizer na kaunti lang ang natutunang Arabic merge.
  • Iba-iba ang bilang ayon sa model. Bawat model ay may sariling merge na natutunan mula sa sarili nitong data.

Ipinapakita ng sukat namin noong 2026-11-14 ang epekto. Ang parehong Gulf-dialect na chat na 117 salita ay 276 token sa GLM 5.3 at 229 sa Qwen3.8 27B. Iyan ay 276 / 117 x 100 = 235.9 laban sa 229 / 117 x 100 = 195.7 token kada 100 salita. 202 at 208 token naman ang English na salin ng chat na iyon, halos pareho.

Sa BroadNet Inference

Hindi ka pumipili ng tokenizer sa BroadNet; may sariling tokenizer ang bawat model. Ikumpara ang bilang para sa totoo mong text sa Arabic token counter bago ka pumili ng model para sa Arabic traffic, at basahin ang tokens per word sa Arabic at English para sa buong table. Tandaan na bilang ng token, hindi bilang ng salita, ang nagtatakda ng presyo.

Mga tanong

Sino ang nag-imbento ng BPE para sa language model?

Nagsimula ang BPE bilang data compression algorithm. Inangkop ito nina Sennrich, Haddow at Birch noong 2015 para hatiin ang mga bihirang salita sa subword units para sa neural machine translation, at mula sa gawang iyon lumago ang mga LLM tokenizer.

Ano ang byte-level BPE?

BPE tokenizer na ang base vocabulary ay ang 256 posibleng byte value sa halip na mga character, kaya kayang i-encode ang anumang text, sa anumang script, nang walang unknown token. Ginamit ito ng GPT-2 na may 50,257 entry.

Bakit mas maraming token ang Arabic kaysa English sa BPE?

Natututunan ang mga merge mula sa training data. Kung mas kaunting Arabic ang nakita ng tokenizer, mas kaunting Arabic na pares ang na-merge, at nahahati sa mas maraming piraso ang mga salitang Arabic.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity