Tokenizer quyết định văn bản của bạn thành bao nhiêu token, và do đó chiếm bao nhiêu context window và bao nhiêu tiền trên hóa đơn.
Cách hoạt động
Một tokenizer có hai phần: một bộ từ vựng cố định ánh xạ các mảnh văn bản sang ID số nguyên, và các quy tắc tách văn bản thành những mảnh đó. Tài liệu của Hugging Face mô tả các thuật toán phổ biến là phương pháp subword: từ thông dụng giữ nguyên, từ hiếm bị tách thành các mảnh nhỏ hơn đã biết, nên “annoyingly” có thể thành “annoying” + “ly”. Hầu hết LLM hiện nay dùng byte pair encoding hoặc một biến thể của nó.
Quá trình mã hóa gồm ba bước:
- Tách sơ bộ (pre-tokenize). Tách theo khoảng trắng, dấu câu và chữ số.
- Ánh xạ mảnh sang ID. Áp dụng các phép gộp đã học và tra từng mảnh trong bộ từ vựng.
- Thêm token đặc biệt. Chat template bọc tin nhắn trong các ký hiệu vai trò, và chúng cũng được tính.
Giải mã đảo ngược bước 2. Với model open-weight, tất cả những thứ này nằm trong file tokenizer.json trong repo model.
Vì sao quan trọng
Tokenizer khác nhau cho số token khác nhau với cùng một văn bản. Chúng tôi đã mã hóa các văn bản của bộ dữ liệu bằng tokenizer được ghim phiên bản của từng model (tiếng Anh: văn xuôi Wikipedia và Project Gutenberg; tiếng Ả Rập: 2,009 câu FLORES-200 cùng ba đoạn mở đầu Wikipedia; đo ngày 2026-11-15; token trên 100 từ = token / từ x 100):
| Văn bản | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Văn xuôi tiếng Anh, 1,183 từ | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Tiếng Ả Rập MSA, 39,037 từ | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
Tiếng Anh gần như ngang nhau ở mọi model. Tiếng Ả Rập thì không: GLM 5.3 cần gấp 95,230 / 71,424 = 1.33 lần số token mà Qwen3.8 27B cần cho cùng văn bản. Với giá tính theo token, khoảng cách đó là khoảng cách chi phí, và nó cũng thay đổi lượng tiếng Ả Rập vừa trong context window. Cột Gemma dùng tokenizer Gemma 4 gốc của Google; bản build của BroadNet dựa trên model đó, và chúng tôi giả định nó giữ nguyên tokenizer. Toàn bộ số liệu theo model, kèm file CSV và JSON để tải, có trong bộ dữ liệu hiệu suất tokenizer.
Trên BroadNet Inference
BroadNet tính phí chat trả theo mức dùng dựa trên token đầu vào và đầu ra và báo số lượng trong object usage của mỗi response, nên con số chuẩn là con số API trả về. Để ước lượng trước khi gửi, hãy dán văn bản vào công cụ đếm token hoặc công cụ đếm token tiếng Ả Rập, vốn nạp cùng các file tokenizer đã ghim phiên bản. Toàn bộ phép đo có trong bài số token mỗi từ trong tiếng Ả Rập và tiếng Anh.
Lỗi thường gặp
- Đếm bằng tokenizer của một model nhưng bị tính phí trên model khác. Hãy dùng tokenizer của model bạn gọi.
- Quên chat template. Ký hiệu vai trò và system prompt cộng thêm token mà phép đếm văn bản thuần bỏ sót.