Byte pair encoding adalah resep di balik sebagian besar tokenizer LLM: pelajari potongan teks mana yang sering muncul bersama, lalu beri setiap potongan yang sering itu token sendiri.
Cara kerjanya
Sennrich, Haddow dan Birch (2015) menerapkan BPE, yang awalnya metode kompresi, pada terjemahan. Intinya: nama, kata majemuk, dan kata langka bisa dibangun dari unit yang lebih kecil, sehingga model tidak butuh entri kamus untuk setiap kata.
Melatih kosakata BPE mengikuti loop sederhana, yang ditunjukkan langkah demi langkah dalam dokumentasi Hugging Face:
- Hitung frekuensi kata dalam korpus latih, misalnya
hug10,pug5,pun12,bun4,hugs5. - Mulai dari karakter tunggal:
b g h n p s u. - Cari pasangan bersebelahan yang paling sering.
u+gmuncul 20 kali, jadi tambahkanug. - Ulangi.
u+n(16 kali) menjadiun. - Berhenti pada ukuran kosakata target, yang sama dengan simbol dasar ditambah jumlah penggabungan.
Untuk mengenkode teks baru, tokenizer menerapkan penggabungan yang sudah dipelajari dalam urutan yang sama. Enkoding bersifat deterministik: teks yang sama selalu menghasilkan token yang sama.
Byte-level BPE dimulai dari 256 nilai byte, bukan karakter. Dengan begitu setiap string yang mungkin bisa dienkode. Kosakata GPT-2 berjumlah 256 byte + 50.000 penggabungan + 1 token akhir teks = 50.257.
Kenapa ini penting
BPE menjelaskan beberapa hal yang Anda lihat di tagihan API:
- Kata bahasa Inggris yang umum adalah satu token, karena pasangannya digabung sejak awal.
- Kata langka, salah ketik, dan aksara non-Latin terpecah menjadi lebih banyak token. Dalam UTF-8 satu huruf Arab memakan 2 byte, sehingga tokenizer byte-level yang hanya mempelajari sedikit penggabungan Arab menghabiskan lebih banyak token per kata.
- Jumlahnya berbeda per model. Setiap model mempelajari penggabungannya sendiri dari datanya sendiri.
Pengukuran kami pada 2026-11-14 menunjukkan efeknya. Percakapan berdialek Teluk yang sama sebanyak 117 kata menjadi 276 token di GLM 5.3 dan 229 token di Qwen3.8 27B. Artinya 276 / 117 x 100 = 235,9 berbanding 229 / 117 x 100 = 195,7 token per 100 kata. Terjemahan bahasa Inggris percakapan itu memakan 202 dan 208 token, hampir sama.
Di BroadNet Inference
Anda tidak memilih tokenizer di BroadNet; setiap model memakai tokenizer-nya sendiri. Bandingkan jumlah token untuk teks asli Anda di penghitung token Arab sebelum memilih model untuk trafik berbahasa Arab, dan baca token per kata dalam bahasa Arab dan Inggris untuk tabel lengkapnya. Ingat bahwa yang menentukan harga adalah jumlah token, bukan jumlah kata.