BroadRouter
Mulakan

Byte pair encoding (BPE)

Dikemas kini

Byte pair encoding (BPE) ialah algoritma tokenisasi subkata yang bermula daripada aksara atau bait tunggal dan berulang kali menggabungkan pasangan bersebelahan yang paling kerap menjadi entri perbendaharaan kata baharu, sehingga mencapai saiz perbendaharaan kata sasaran. Kebanyakan tokenizer LLM semasa menggunakan BPE atau varian peringkat baitnya.

Juga dikenali sebagai: byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization, pengekodan pasangan bait, tokenizer BPE

Byte pair encoding ialah resipi di sebalik kebanyakan tokenizer LLM: pelajari cebisan teks yang kerap muncul bersama, dan beri setiap cebisan yang kerap itu token tersendiri.

Cara ia berfungsi

Sennrich, Haddow dan Birch (2015) menggunakan BPE, asalnya kaedah pemampatan, untuk terjemahan. Maksud mereka ialah nama, kata majmuk dan perkataan jarang boleh dibina daripada unit yang lebih kecil, jadi model tidak memerlukan entri kamus untuk setiap perkataan.

Melatih perbendaharaan kata BPE mengikut gelung mudah, yang ditunjukkan langkah demi langkah dalam dokumentasi Hugging Face:

  1. Kira kekerapan perkataan dalam korpus latihan, contohnya hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Mulakan dengan aksara tunggal: b g h n p s u.
  3. Cari pasangan bersebelahan yang paling kerap. u + g muncul 20 kali, jadi tambah ug.
  4. Ulang. u + n (16 kali) menjadi un.
  5. Berhenti pada saiz perbendaharaan kata sasaran, yang sama dengan simbol asas ditambah bilangan gabungan.

Untuk mengekod teks baharu, tokenizer menggunakan gabungan yang dipelajari dalam susunan yang sama. Pengekodan adalah deterministik: teks yang sama sentiasa memberi token yang sama.

Byte-level BPE bermula daripada 256 nilai bait dan bukan aksara. Setiap rentetan yang mungkin kemudiannya boleh dikodkan. Perbendaharaan kata GPT-2 ialah 256 bait + 50,000 gabungan + 1 token end-of-text = 50,257.

Mengapa ia penting

BPE menerangkan beberapa perkara yang anda lihat pada bil API:

  • Perkataan Inggeris biasa ialah satu token, kerana pasangannya digabungkan awal.
  • Perkataan jarang, salah taip dan tulisan bukan Rumi pecah kepada lebih banyak token. Dalam UTF-8, satu huruf Arab mengambil 2 bait, jadi tokenizer peringkat bait yang mempelajari sedikit gabungan Arab menggunakan lebih banyak token bagi setiap perkataan.
  • Kiraan berbeza mengikut model. Setiap model mempelajari gabungannya sendiri daripada datanya sendiri.

Ukuran kami pada 2026-11-14 menunjukkan kesannya. Chat dialek Teluk yang sama sebanyak 117 perkataan ialah 276 token pada GLM 5.3 dan 229 pada Qwen3.8 27B. Itu 276 / 117 x 100 = 235.9 berbanding 229 / 117 x 100 = 195.7 token setiap 100 perkataan. Terjemahan Inggeris chat itu menggunakan 202 dan 208 token, hampir sama.

Di BroadNet Inference

Anda tidak memilih tokenizer di BroadNet; setiap model menggunakan tokenizernya sendiri. Bandingkan kiraan untuk teks sebenar anda dalam pengira token Arab sebelum anda memilih model untuk trafik Arab, dan baca token setiap perkataan dalam bahasa Arab dan Inggeris untuk jadual penuh. Ingat bahawa kiraan token, bukan kiraan perkataan, yang menentukan harga.

Soalan lazim

Siapakah yang mencipta BPE untuk model bahasa?

BPE bermula sebagai algoritma pemampatan data. Sennrich, Haddow dan Birch menyesuaikannya pada 2015 untuk memecahkan perkataan jarang kepada unit subkata bagi terjemahan mesin neural, dan tokenizer LLM berkembang daripada kerja itu.

Apakah itu byte-level BPE?

Tokenizer BPE yang perbendaharaan kata asasnya ialah 256 nilai bait yang mungkin dan bukan aksara, jadi apa-apa teks, dalam apa-apa tulisan, boleh dikodkan tanpa token tidak diketahui. GPT-2 menggunakannya dengan 50,257 entri.

Mengapakah BPE menghasilkan lebih banyak token untuk bahasa Arab berbanding bahasa Inggeris?

Gabungan dipelajari daripada data latihan. Jika tokenizer melihat kurang bahasa Arab, lebih sedikit pasangan Arab digabungkan, dan perkataan Arab pecah kepada lebih banyak cebisan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity