BroadRouter
Bắt đầu

Tokenizer (bộ tách token)

Cập nhật

Tokenizer là thành phần chuyển văn bản thành chuỗi token ID số nguyên mà mô hình ngôn ngữ đọc, và chuyển các ID được sinh ra trở lại thành văn bản. Mỗi model có tokenizer riêng, nên cùng một văn bản có thể cho ra số token khác nhau trên các model khác nhau.

Còn gọi là: tokenizer là gì, bộ tách token, bộ mã hóa token, tokenizer LLM, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Tokenizer quyết định văn bản của bạn thành bao nhiêu token, và do đó chiếm bao nhiêu context window và bao nhiêu tiền trên hóa đơn.

Cách hoạt động

Một tokenizer có hai phần: một bộ từ vựng cố định ánh xạ các mảnh văn bản sang ID số nguyên, và các quy tắc tách văn bản thành những mảnh đó. Tài liệu của Hugging Face mô tả các thuật toán phổ biến là phương pháp subword: từ thông dụng giữ nguyên, từ hiếm bị tách thành các mảnh nhỏ hơn đã biết, nên “annoyingly” có thể thành “annoying” + “ly”. Hầu hết LLM hiện nay dùng byte pair encoding hoặc một biến thể của nó.

Quá trình mã hóa gồm ba bước:

  1. Tách sơ bộ (pre-tokenize). Tách theo khoảng trắng, dấu câu và chữ số.
  2. Ánh xạ mảnh sang ID. Áp dụng các phép gộp đã học và tra từng mảnh trong bộ từ vựng.
  3. Thêm token đặc biệt. Chat template bọc tin nhắn trong các ký hiệu vai trò, và chúng cũng được tính.

Giải mã đảo ngược bước 2. Với model open-weight, tất cả những thứ này nằm trong file tokenizer.json trong repo model.

Vì sao quan trọng

Tokenizer khác nhau cho số token khác nhau với cùng một văn bản. Chúng tôi đã mã hóa các văn bản của bộ dữ liệu bằng tokenizer được ghim phiên bản của từng model (tiếng Anh: văn xuôi Wikipedia và Project Gutenberg; tiếng Ả Rập: 2,009 câu FLORES-200 cùng ba đoạn mở đầu Wikipedia; đo ngày 2026-11-15; token trên 100 từ = token / từ x 100):

Văn bản DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Văn xuôi tiếng Anh, 1,183 từ 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Tiếng Ả Rập MSA, 39,037 từ 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

Tiếng Anh gần như ngang nhau ở mọi model. Tiếng Ả Rập thì không: GLM 5.3 cần gấp 95,230 / 71,424 = 1.33 lần số token mà Qwen3.8 27B cần cho cùng văn bản. Với giá tính theo token, khoảng cách đó là khoảng cách chi phí, và nó cũng thay đổi lượng tiếng Ả Rập vừa trong context window. Cột Gemma dùng tokenizer Gemma 4 gốc của Google; bản build của BroadNet dựa trên model đó, và chúng tôi giả định nó giữ nguyên tokenizer. Toàn bộ số liệu theo model, kèm file CSV và JSON để tải, có trong bộ dữ liệu hiệu suất tokenizer.

Trên BroadNet Inference

BroadNet tính phí chat trả theo mức dùng dựa trên token đầu vào và đầu ra và báo số lượng trong object usage của mỗi response, nên con số chuẩn là con số API trả về. Để ước lượng trước khi gửi, hãy dán văn bản vào công cụ đếm token hoặc công cụ đếm token tiếng Ả Rập, vốn nạp cùng các file tokenizer đã ghim phiên bản. Toàn bộ phép đo có trong bài số token mỗi từ trong tiếng Ả Rập và tiếng Anh.

Lỗi thường gặp

  • Đếm bằng tokenizer của một model nhưng bị tính phí trên model khác. Hãy dùng tokenizer của model bạn gọi.
  • Quên chat template. Ký hiệu vai trò và system prompt cộng thêm token mà phép đếm văn bản thuần bỏ sót.

Câu hỏi thường gặp

Mọi LLM có dùng chung một tokenizer không?

Không. Mỗi họ model tự huấn luyện tokenizer với bộ từ vựng riêng. Trong bộ dữ liệu tokenizer của chúng tôi, cùng 39,037 từ tiếng Ả Rập ra 71,424 token trên Qwen3.8 27B và 95,230 token trên GLM 5.3.

Tìm tokenizer của một model ở đâu?

Với model open-weight, đó là file tokenizer.json trong repo Hugging Face của model. Nạp nó bằng thư viện tokenizers của Hugging Face để đếm token chính xác.

Tokenizer có giống tokenization không?

Tokenization là quá trình tách văn bản thành token. Tokenizer là file và code thực hiện việc đó cho một model cụ thể.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity