Byte pair encoding ialah resipi di sebalik kebanyakan tokenizer LLM: pelajari cebisan teks yang kerap muncul bersama, dan beri setiap cebisan yang kerap itu token tersendiri.
Cara ia berfungsi
Sennrich, Haddow dan Birch (2015) menggunakan BPE, asalnya kaedah pemampatan, untuk terjemahan. Maksud mereka ialah nama, kata majmuk dan perkataan jarang boleh dibina daripada unit yang lebih kecil, jadi model tidak memerlukan entri kamus untuk setiap perkataan.
Melatih perbendaharaan kata BPE mengikut gelung mudah, yang ditunjukkan langkah demi langkah dalam dokumentasi Hugging Face:
- Kira kekerapan perkataan dalam korpus latihan, contohnya
hug10,pug5,pun12,bun4,hugs5. - Mulakan dengan aksara tunggal:
b g h n p s u. - Cari pasangan bersebelahan yang paling kerap.
u+gmuncul 20 kali, jadi tambahug. - Ulang.
u+n(16 kali) menjadiun. - Berhenti pada saiz perbendaharaan kata sasaran, yang sama dengan simbol asas ditambah bilangan gabungan.
Untuk mengekod teks baharu, tokenizer menggunakan gabungan yang dipelajari dalam susunan yang sama. Pengekodan adalah deterministik: teks yang sama sentiasa memberi token yang sama.
Byte-level BPE bermula daripada 256 nilai bait dan bukan aksara. Setiap rentetan yang mungkin kemudiannya boleh dikodkan. Perbendaharaan kata GPT-2 ialah 256 bait + 50,000 gabungan + 1 token end-of-text = 50,257.
Mengapa ia penting
BPE menerangkan beberapa perkara yang anda lihat pada bil API:
- Perkataan Inggeris biasa ialah satu token, kerana pasangannya digabungkan awal.
- Perkataan jarang, salah taip dan tulisan bukan Rumi pecah kepada lebih banyak token. Dalam UTF-8, satu huruf Arab mengambil 2 bait, jadi tokenizer peringkat bait yang mempelajari sedikit gabungan Arab menggunakan lebih banyak token bagi setiap perkataan.
- Kiraan berbeza mengikut model. Setiap model mempelajari gabungannya sendiri daripada datanya sendiri.
Ukuran kami pada 2026-11-14 menunjukkan kesannya. Chat dialek Teluk yang sama sebanyak 117 perkataan ialah 276 token pada GLM 5.3 dan 229 pada Qwen3.8 27B. Itu 276 / 117 x 100 = 235.9 berbanding 229 / 117 x 100 = 195.7 token setiap 100 perkataan. Terjemahan Inggeris chat itu menggunakan 202 dan 208 token, hampir sama.
Di BroadNet Inference
Anda tidak memilih tokenizer di BroadNet; setiap model menggunakan tokenizernya sendiri. Bandingkan kiraan untuk teks sebenar anda dalam pengira token Arab sebelum anda memilih model untuk trafik Arab, dan baca token setiap perkataan dalam bahasa Arab dan Inggeris untuk jadual penuh. Ingat bahawa kiraan token, bukan kiraan perkataan, yang menentukan harga.