---
title: "Apakah itu byte pair encoding (BPE) dalam tokenizer LLM?"
description: "BPE membina perbendaharaan kata tokenizer dengan menggabungkan pasangan paling kerap. Cara BPE dan byte-level BPE berfungsi, dan mengapa Arab perlu lebih token."
url: https://broadrouter.com/ms/glossary/bpe/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/bpe/) (dikemas kini 2026-11-16).

# Byte pair encoding (BPE)

Dikemas kini 2026-11-16

Byte pair encoding (BPE) ialah algoritma tokenisasi subkata yang bermula daripada aksara atau bait tunggal dan berulang kali menggabungkan pasangan bersebelahan yang paling kerap menjadi entri perbendaharaan kata baharu, sehingga mencapai saiz perbendaharaan kata sasaran. Kebanyakan tokenizer LLM semasa menggunakan BPE atau varian peringkat baitnya.

Juga dikenali sebagai: byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization, pengekodan pasangan bait, tokenizer BPE

Byte pair encoding ialah resipi di sebalik kebanyakan [tokenizer](https://broadrouter.com/ms/glossary/tokenizer/) LLM: pelajari cebisan teks yang kerap muncul bersama, dan beri setiap cebisan yang kerap itu token tersendiri.

## Cara ia berfungsi

Sennrich, Haddow dan Birch (2015) menggunakan BPE, asalnya kaedah pemampatan, untuk terjemahan. Maksud mereka ialah nama, kata majmuk dan perkataan jarang boleh dibina daripada unit yang lebih kecil, jadi model tidak memerlukan entri kamus untuk setiap perkataan.

Melatih perbendaharaan kata BPE mengikut gelung mudah, yang ditunjukkan langkah demi langkah dalam dokumentasi Hugging Face:

1.  Kira kekerapan perkataan dalam korpus latihan, contohnya `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Mulakan dengan aksara tunggal: `b g h n p s u`.
3.  Cari pasangan bersebelahan yang paling kerap. `u` + `g` muncul 20 kali, jadi tambah `ug`.
4.  Ulang. `u` + `n` (16 kali) menjadi `un`.
5.  Berhenti pada [saiz perbendaharaan kata](https://broadrouter.com/ms/glossary/vocabulary-size/) sasaran, yang sama dengan simbol asas ditambah bilangan gabungan.

Untuk mengekod teks baharu, tokenizer menggunakan gabungan yang dipelajari dalam susunan yang sama. Pengekodan adalah deterministik: teks yang sama sentiasa memberi token yang sama.

**Byte-level BPE** bermula daripada 256 nilai bait dan bukan aksara. Setiap rentetan yang mungkin kemudiannya boleh dikodkan. Perbendaharaan kata GPT-2 ialah 256 bait + 50,000 gabungan + 1 token end-of-text = 50,257.

## Mengapa ia penting

BPE menerangkan beberapa perkara yang anda lihat pada bil API:

-   **Perkataan Inggeris biasa ialah satu token**, kerana pasangannya digabungkan awal.
-   **Perkataan jarang, salah taip dan tulisan bukan Rumi pecah kepada lebih banyak token.** Dalam UTF-8, satu huruf Arab mengambil 2 bait, jadi tokenizer peringkat bait yang mempelajari sedikit gabungan Arab menggunakan lebih banyak token bagi setiap perkataan.
-   **Kiraan berbeza mengikut model.** Setiap model mempelajari gabungannya sendiri daripada datanya sendiri.

Ukuran kami pada 2026-11-14 menunjukkan kesannya. Chat dialek Teluk yang sama sebanyak 117 perkataan ialah 276 token pada GLM 5.3 dan 229 pada Qwen3.8 27B. Itu 276 / 117 x 100 = 235.9 berbanding 229 / 117 x 100 = 195.7 token setiap 100 perkataan. Terjemahan Inggeris chat itu menggunakan 202 dan 208 token, hampir sama.

## Di BroadNet Inference

Anda tidak memilih tokenizer di BroadNet; setiap model menggunakan tokenizernya sendiri. Bandingkan kiraan untuk teks sebenar anda dalam [pengira token Arab](https://broadrouter.com/tools/arabic-token-counter/) sebelum anda memilih model untuk trafik Arab, dan baca [token setiap perkataan dalam bahasa Arab dan Inggeris](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) untuk jadual penuh. Ingat bahawa kiraan [token](https://broadrouter.com/ms/glossary/token/), bukan kiraan perkataan, yang menentukan harga.

## Soalan lazim

### Siapakah yang mencipta BPE untuk model bahasa?

BPE bermula sebagai algoritma pemampatan data. Sennrich, Haddow dan Birch menyesuaikannya pada 2015 untuk memecahkan perkataan jarang kepada unit subkata bagi terjemahan mesin neural, dan tokenizer LLM berkembang daripada kerja itu.

### Apakah itu byte-level BPE?

Tokenizer BPE yang perbendaharaan kata asasnya ialah 256 nilai bait yang mungkin dan bukan aksara, jadi apa-apa teks, dalam apa-apa tulisan, boleh dikodkan tanpa token tidak diketahui. GPT-2 menggunakannya dengan 50,257 entri.

### Mengapakah BPE menghasilkan lebih banyak token untuk bahasa Arab berbanding bahasa Inggeris?

Gabungan dipelajari daripada data latihan. Jika tokenizer melihat kurang bahasa Arab, lebih sedikit pasangan Arab digabungkan, dan perkataan Arab pecah kepada lebih banyak cebisan.

## Lihat juga

-   [Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/) (istilah)
-   [Saiz perbendaharaan kata (vocabulary size)](https://broadrouter.com/ms/glossary/vocabulary-size/) (istilah)
-   [Token](https://broadrouter.com/ms/glossary/token/) (istilah)
-   [Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/) (istilah)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) (artikel)
-   [Cara mengira token sebelum menghantar permintaan LLM](https://broadrouter.com/ms/blog/count-tokens-before-sending/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-bpe&utm_content=page-cta) ·

**Sumber**

-   [Sennrich, Haddow dan Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (disemak 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algoritma tokenisasi (BPE dan byte-level BPE) (disemak 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
