---
title: "Apa itu byte pair encoding (BPE) pada tokenizer LLM?"
description: "BPE membangun kosakata tokenizer dengan menggabungkan pasangan simbol tersering. Cara kerja BPE dan byte-level BPE, dan mengapa bahasa Arab butuh lebih banyak token."
url: https://broadrouter.com/id/glossary/bpe/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/bpe/) (diperbarui 2026-11-16).

# Byte pair encoding (BPE)

Diperbarui 2026-11-16

Byte pair encoding (BPE) adalah algoritma tokenisasi subkata yang dimulai dari karakter atau byte tunggal lalu berulang kali menggabungkan pasangan bersebelahan yang paling sering muncul menjadi entri kosakata baru, hingga mencapai ukuran kosakata target. Sebagian besar tokenizer LLM saat ini memakai BPE atau varian byte-level-nya.

Disebut juga: BPE, tokenisasi BPE, byte-level BPE, tokenisasi subkata, byte pair encoding, byte-pair encoding, BPE tokenization

Byte pair encoding adalah resep di balik sebagian besar [tokenizer](https://broadrouter.com/id/glossary/tokenizer/) LLM: pelajari potongan teks mana yang sering muncul bersama, lalu beri setiap potongan yang sering itu token sendiri.

## Cara kerjanya

Sennrich, Haddow dan Birch (2015) menerapkan BPE, yang awalnya metode kompresi, pada terjemahan. Intinya: nama, kata majemuk, dan kata langka bisa dibangun dari unit yang lebih kecil, sehingga model tidak butuh entri kamus untuk setiap kata.

Melatih kosakata BPE mengikuti loop sederhana, yang ditunjukkan langkah demi langkah dalam dokumentasi Hugging Face:

1.  Hitung frekuensi kata dalam korpus latih, misalnya `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Mulai dari karakter tunggal: `b g h n p s u`.
3.  Cari pasangan bersebelahan yang paling sering. `u` + `g` muncul 20 kali, jadi tambahkan `ug`.
4.  Ulangi. `u` + `n` (16 kali) menjadi `un`.
5.  Berhenti pada [ukuran kosakata](https://broadrouter.com/id/glossary/vocabulary-size/) target, yang sama dengan simbol dasar ditambah jumlah penggabungan.

Untuk mengenkode teks baru, tokenizer menerapkan penggabungan yang sudah dipelajari dalam urutan yang sama. Enkoding bersifat deterministik: teks yang sama selalu menghasilkan token yang sama.

**Byte-level BPE** dimulai dari 256 nilai byte, bukan karakter. Dengan begitu setiap string yang mungkin bisa dienkode. Kosakata GPT-2 berjumlah 256 byte + 50.000 penggabungan + 1 token akhir teks = 50.257.

## Kenapa ini penting

BPE menjelaskan beberapa hal yang Anda lihat di tagihan API:

-   **Kata bahasa Inggris yang umum adalah satu token**, karena pasangannya digabung sejak awal.
-   **Kata langka, salah ketik, dan aksara non-Latin terpecah menjadi lebih banyak token.** Dalam UTF-8 satu huruf Arab memakan 2 byte, sehingga tokenizer byte-level yang hanya mempelajari sedikit penggabungan Arab menghabiskan lebih banyak token per kata.
-   **Jumlahnya berbeda per model.** Setiap model mempelajari penggabungannya sendiri dari datanya sendiri.

Pengukuran kami pada 2026-11-14 menunjukkan efeknya. Percakapan berdialek Teluk yang sama sebanyak 117 kata menjadi 276 token di GLM 5.3 dan 229 token di Qwen3.8 27B. Artinya 276 / 117 x 100 = 235,9 berbanding 229 / 117 x 100 = 195,7 token per 100 kata. Terjemahan bahasa Inggris percakapan itu memakan 202 dan 208 token, hampir sama.

## Di BroadNet Inference

Anda tidak memilih tokenizer di BroadNet; setiap model memakai tokenizer-nya sendiri. Bandingkan jumlah token untuk teks asli Anda di [penghitung token Arab](https://broadrouter.com/tools/arabic-token-counter/) sebelum memilih model untuk trafik berbahasa Arab, dan baca [token per kata dalam bahasa Arab dan Inggris](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/) untuk tabel lengkapnya. Ingat bahwa yang menentukan harga adalah jumlah [token](https://broadrouter.com/id/glossary/token/), bukan jumlah kata.

## Pertanyaan umum

### Siapa yang menciptakan BPE untuk model bahasa?

BPE awalnya adalah algoritma kompresi data. Sennrich, Haddow dan Birch mengadaptasinya pada 2015 untuk memecah kata langka menjadi unit subkata dalam terjemahan mesin neural, dan tokenizer LLM berkembang dari karya itu.

### Apa itu byte-level BPE?

Tokenizer BPE yang kosakata dasarnya adalah 256 kemungkinan nilai byte, bukan karakter, sehingga teks apa pun dalam aksara apa pun bisa dienkode tanpa token unknown. GPT-2 memakainya dengan 50.257 entri.

### Mengapa BPE menghasilkan lebih banyak token untuk bahasa Arab daripada bahasa Inggris?

Penggabungan dipelajari dari data latih. Jika tokenizer melihat lebih sedikit teks Arab, lebih sedikit pasangan Arab yang digabung, dan kata-kata Arab terpecah menjadi lebih banyak potongan.

## Lihat juga

-   [Tokenizer](https://broadrouter.com/id/glossary/tokenizer/) (istilah)
-   [Ukuran kosakata (vocabulary size)](https://broadrouter.com/id/glossary/vocabulary-size/) (istilah)
-   [Token](https://broadrouter.com/id/glossary/token/) (istilah)
-   [Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/) (istilah)
-   [Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/) (artikel)
-   [Cara menghitung token sebelum mengirim permintaan LLM](https://broadrouter.com/id/blog/count-tokens-before-sending/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-bpe&utm_content=page-cta) ·

**Sumber**

-   [Sennrich, Haddow dan Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (diperiksa 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algoritma tokenisasi (BPE dan byte-level BPE) (diperiksa 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
