Byte pair encoding ang recipe sa likod ng karamihan ng LLM tokenizer: alamin kung aling mga piraso ng text ang madalas magkasama, at bigyan ng sariling token ang bawat madalas na piraso.
Paano ito gumagana
Ginamit nina Sennrich, Haddow at Birch (2015) ang BPE, na orihinal na compression method, sa translation. Ang punto nila: mabubuo ang mga pangalan, compound at bihirang salita mula sa mas maliliit na unit, kaya hindi kailangan ng model ng dictionary entry para sa bawat salita.
Simpleng loop ang pag-train ng BPE vocabulary, na ipinapakita nang hakbang-hakbang sa dokumentasyon ng Hugging Face:
- Bilangin ang dalas ng mga salita sa training corpus, halimbawa
hug10,pug5,pun12,bun4,hugs5. - Magsimula sa iisang character:
b g h n p s u. - Hanapin ang pinakamadalas na magkatabing pares. 20 beses lumalabas ang
u+g, kaya idagdag angug. - Ulitin. Nagiging
unangu+n(16 beses). - Huminto sa target na laki ng vocabulary, na katumbas ng base symbols plus ang bilang ng merge.
Para i-encode ang bagong text, inilalapat ng tokenizer ang mga natutunang merge sa parehong pagkakasunod. Deterministic ang encoding: laging parehong token ang lalabas sa parehong text.
Byte-level BPE ang nagsisimula sa 256 byte value sa halip na mga character. Kaya nitong i-encode ang anumang string. Ang vocabulary ng GPT-2 ay 256 byte + 50,000 merge + 1 end-of-text token = 50,257.
Bakit ito mahalaga
Ipinapaliwanag ng BPE ang ilang bagay na nakikita mo sa API bill:
- Isang token lang ang mga karaniwang salita sa English, dahil maagang na-merge ang mga pares nito.
- Nahahati sa mas maraming token ang mga bihirang salita, typo at hindi Latin na script. Sa UTF-8, 2 byte ang isang titik ng Arabic, kaya mas maraming token kada salita ang nagagastos ng byte-level tokenizer na kaunti lang ang natutunang Arabic merge.
- Iba-iba ang bilang ayon sa model. Bawat model ay may sariling merge na natutunan mula sa sarili nitong data.
Ipinapakita ng sukat namin noong 2026-11-14 ang epekto. Ang parehong Gulf-dialect na chat na 117 salita ay 276 token sa GLM 5.3 at 229 sa Qwen3.8 27B. Iyan ay 276 / 117 x 100 = 235.9 laban sa 229 / 117 x 100 = 195.7 token kada 100 salita. 202 at 208 token naman ang English na salin ng chat na iyon, halos pareho.
Sa BroadNet Inference
Hindi ka pumipili ng tokenizer sa BroadNet; may sariling tokenizer ang bawat model. Ikumpara ang bilang para sa totoo mong text sa Arabic token counter bago ka pumili ng model para sa Arabic traffic, at basahin ang tokens per word sa Arabic at English para sa buong table. Tandaan na bilang ng token, hindi bilang ng salita, ang nagtatakda ng presyo.