BroadRouter
Bắt đầu

Byte pair encoding (BPE)

Cập nhật

Byte pair encoding (BPE) là thuật toán tách token theo subword, bắt đầu từ từng ký tự hoặc byte rồi liên tục gộp cặp liền kề xuất hiện nhiều nhất thành một mục từ vựng mới, tới khi đạt kích thước từ vựng mục tiêu. Phần lớn tokenizer LLM hiện nay dùng BPE hoặc biến thể cấp byte của nó.

Còn gọi là: mã hóa cặp byte, BPE cấp byte, tokenizer BPE, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding là công thức đứng sau phần lớn tokenizer của LLM: học xem những mảnh văn bản nào hay đi cùng nhau, và cấp cho mỗi mảnh phổ biến một token riêng.

Cách hoạt động

Sennrich, Haddow và Birch (2015) áp dụng BPE, vốn là một phương pháp nén, vào dịch máy. Ý chính của họ là tên riêng, từ ghép và từ hiếm có thể ghép từ các đơn vị nhỏ hơn, nên model không cần một mục từ điển cho mọi từ.

Huấn luyện bộ từ vựng BPE là một vòng lặp đơn giản, được tài liệu Hugging Face trình bày từng bước:

  1. Đếm tần suất từ trong corpus huấn luyện, ví dụ hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Bắt đầu từ các ký tự đơn: b g h n p s u.
  3. Tìm cặp liền kề xuất hiện nhiều nhất. u + g xuất hiện 20 lần, nên thêm ug.
  4. Lặp lại. u + n (16 lần) trở thành un.
  5. Dừng khi đạt kích thước từ vựng mục tiêu, bằng số ký hiệu cơ sở cộng số phép gộp.

Để mã hóa văn bản mới, tokenizer áp dụng các phép gộp đã học theo đúng thứ tự. Việc mã hóa là tất định: cùng một văn bản luôn cho cùng các token.

BPE cấp byte bắt đầu từ 256 giá trị byte thay vì ký tự. Khi đó mọi chuỗi có thể có đều mã hóa được. Bộ từ vựng của GPT-2 gồm 256 byte + 50.000 phép gộp + 1 token end-of-text = 50.257.

Vì sao quan trọng

BPE giải thích một số điều bạn thấy trên hóa đơn API:

  • Từ tiếng Anh phổ biến chỉ là một token, vì các cặp của chúng được gộp từ sớm.
  • Từ hiếm, lỗi gõ và hệ chữ không phải Latin bị tách thành nhiều token hơn. Trong UTF-8, một chữ cái Ả Rập chiếm 2 byte, nên tokenizer cấp byte học được ít phép gộp tiếng Ả Rập sẽ tốn nhiều token hơn cho mỗi từ.
  • Số token khác nhau theo model. Mỗi model học phép gộp riêng từ dữ liệu riêng.

Phép đo của chúng tôi ngày 2026-11-14 cho thấy hiệu ứng này. Cùng một đoạn chat phương ngữ vùng Vịnh dài 117 từ tốn 276 token trên GLM 5.3 và 229 trên Qwen3.8 27B. Tức là 276 / 117 x 100 = 235,9 so với 229 / 117 x 100 = 195,7 token mỗi 100 từ. Bản dịch tiếng Anh của đoạn chat đó tốn 202 và 208 token, gần như bằng nhau.

Trên BroadNet Inference

Trên BroadNet bạn không chọn tokenizer; mỗi model dùng tokenizer riêng. Hãy so số token cho văn bản thật của bạn bằng công cụ đếm token tiếng Ả Rập trước khi chọn model cho lưu lượng tiếng Ả Rập, và đọc số token mỗi từ trong tiếng Ả Rập và tiếng Anh để xem bảng đầy đủ. Hãy nhớ rằng số token, không phải số từ, quyết định giá.

Câu hỏi thường gặp

Ai đã đưa BPE vào model ngôn ngữ?

BPE khởi đầu là một thuật toán nén dữ liệu. Năm 2015, Sennrich, Haddow và Birch dùng nó để tách từ hiếm thành các đơn vị subword cho dịch máy nơ-ron, và tokenizer của LLM phát triển từ công trình đó.

BPE cấp byte là gì?

Là tokenizer BPE có bộ từ vựng cơ sở gồm 256 giá trị byte có thể có thay vì ký tự, nên mọi văn bản ở mọi hệ chữ đều mã hóa được mà không cần token unknown. GPT-2 dùng nó với 50.257 mục.

Vì sao BPE tạo ra nhiều token cho tiếng Ả Rập hơn tiếng Anh?

Các phép gộp được học từ dữ liệu huấn luyện. Nếu tokenizer thấy ít tiếng Ả Rập, sẽ có ít cặp tiếng Ả Rập được gộp, và từ tiếng Ả Rập bị tách thành nhiều mảnh hơn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity