---
title: "Tokenizer là gì? Cách LLM tách văn bản thành token | BroadRouter"
description: "Tokenizer biến văn bản thành các token ID mà LLM đọc. Cách hoạt động và vì sao cùng văn bản lại ra số token khác nhau trên mỗi model, kèm số đo tiếng Ả Rập."
url: https://broadrouter.com/vi/glossary/tokenizer/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/tokenizer/) (cập nhật ngày 2026-11-16).

# Tokenizer (bộ tách token)

Cập nhật 2026-11-16

Tokenizer là thành phần chuyển văn bản thành chuỗi token ID số nguyên mà mô hình ngôn ngữ đọc, và chuyển các ID được sinh ra trở lại thành văn bản. Mỗi model có tokenizer riêng, nên cùng một văn bản có thể cho ra số token khác nhau trên các model khác nhau.

Còn gọi là: tokenizer là gì, bộ tách token, bộ mã hóa token, tokenizer LLM, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Tokenizer quyết định văn bản của bạn thành bao nhiêu [token](https://broadrouter.com/vi/glossary/token/), và do đó chiếm bao nhiêu context window và bao nhiêu tiền trên hóa đơn.

## Cách hoạt động

Một tokenizer có hai phần: một bộ từ vựng cố định ánh xạ các mảnh văn bản sang ID số nguyên, và các quy tắc tách văn bản thành những mảnh đó. Tài liệu của Hugging Face mô tả các thuật toán phổ biến là phương pháp subword: từ thông dụng giữ nguyên, từ hiếm bị tách thành các mảnh nhỏ hơn đã biết, nên “annoyingly” có thể thành “annoying” + “ly”. Hầu hết LLM hiện nay dùng [byte pair encoding](https://broadrouter.com/vi/glossary/bpe/) hoặc một biến thể của nó.

Quá trình mã hóa gồm ba bước:

1.  **Tách sơ bộ (pre-tokenize).** Tách theo khoảng trắng, dấu câu và chữ số.
2.  **Ánh xạ mảnh sang ID.** Áp dụng các phép gộp đã học và tra từng mảnh trong bộ từ vựng.
3.  **Thêm token đặc biệt.** Chat template bọc tin nhắn trong các ký hiệu vai trò, và chúng cũng được tính.

Giải mã đảo ngược bước 2. Với model open-weight, tất cả những thứ này nằm trong file `tokenizer.json` trong repo model.

## Vì sao quan trọng

Tokenizer khác nhau cho số token khác nhau với cùng một văn bản. Chúng tôi đã mã hóa các văn bản của bộ dữ liệu bằng tokenizer được ghim phiên bản của từng model (tiếng Anh: văn xuôi Wikipedia và Project Gutenberg; tiếng Ả Rập: 2,009 câu FLORES-200 cùng ba đoạn mở đầu Wikipedia; đo ngày 2026-11-15; token trên 100 từ = token / từ x 100):

| Văn bản | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Văn xuôi tiếng Anh, 1,183 từ | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Tiếng Ả Rập MSA, 39,037 từ | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

Tiếng Anh gần như ngang nhau ở mọi model. Tiếng Ả Rập thì không: GLM 5.3 cần gấp 95,230 / 71,424 = 1.33 lần số token mà Qwen3.8 27B cần cho cùng văn bản. Với giá tính theo token, khoảng cách đó là khoảng cách chi phí, và nó cũng thay đổi lượng tiếng Ả Rập vừa trong [context window](https://broadrouter.com/vi/glossary/context-window/). Cột Gemma dùng tokenizer Gemma 4 gốc của Google; bản build của BroadNet dựa trên model đó, và chúng tôi giả định nó giữ nguyên tokenizer. Toàn bộ số liệu theo model, kèm file CSV và JSON để tải, có trong [bộ dữ liệu hiệu suất tokenizer](https://broadrouter.com/data/tokenizer-efficiency/).

## Trên BroadNet Inference

BroadNet tính phí chat trả theo mức dùng dựa trên [token đầu vào và đầu ra](https://broadrouter.com/vi/glossary/input-and-output-tokens/) và báo số lượng trong object `usage` của mỗi response, nên con số chuẩn là con số API trả về. Để ước lượng trước khi gửi, hãy dán văn bản vào [công cụ đếm token](https://broadrouter.com/tools/token-counter/) hoặc [công cụ đếm token tiếng Ả Rập](https://broadrouter.com/tools/arabic-token-counter/), vốn nạp cùng các file tokenizer đã ghim phiên bản. Toàn bộ phép đo có trong bài [số token mỗi từ trong tiếng Ả Rập và tiếng Anh](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/).

## Lỗi thường gặp

-   Đếm bằng tokenizer của một model nhưng bị tính phí trên model khác. Hãy dùng tokenizer của model bạn gọi.
-   Quên chat template. Ký hiệu vai trò và system prompt cộng thêm token mà phép đếm văn bản thuần bỏ sót.

## Câu hỏi thường gặp

### Mọi LLM có dùng chung một tokenizer không?

Không. Mỗi họ model tự huấn luyện tokenizer với bộ từ vựng riêng. Trong bộ dữ liệu tokenizer của chúng tôi, cùng 39,037 từ tiếng Ả Rập ra 71,424 token trên Qwen3.8 27B và 95,230 token trên GLM 5.3.

### Tìm tokenizer của một model ở đâu?

Với model open-weight, đó là file tokenizer.json trong repo Hugging Face của model. Nạp nó bằng thư viện tokenizers của Hugging Face để đếm token chính xác.

### Tokenizer có giống tokenization không?

Tokenization là quá trình tách văn bản thành token. Tokenizer là file và code thực hiện việc đó cho một model cụ thể.

## Xem thêm

-   [Token](https://broadrouter.com/vi/glossary/token/) (thuật ngữ)
-   [Byte pair encoding (BPE)](https://broadrouter.com/vi/glossary/bpe/) (thuật ngữ)
-   [Vocabulary size (kích thước từ vựng)](https://broadrouter.com/vi/glossary/vocabulary-size/) (thuật ngữ)
-   [Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/) (thuật ngữ)
-   [Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/) (thuật ngữ)
-   [Chat template](https://broadrouter.com/vi/glossary/chat-template/) (thuật ngữ)
-   [Chuẩn hóa Unicode (Unicode normalization)](https://broadrouter.com/vi/glossary/unicode-normalization/) (thuật ngữ)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/) (hướng dẫn)
-   [Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/) (bài viết)
-   [Cách đếm token trước khi gửi request tới LLM](https://broadrouter.com/vi/blog/count-tokens-before-sending/) (bài viết)
-   [Prompt engineering tiếng Ả Rập: văn phong, RTL, chữ số và văn bản trộn](https://broadrouter.com/vi/blog/arabic-prompt-engineering/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-tokenizer&utm_content=page-cta) ·

**Nguồn**

-   [Hugging Face Transformers, các thuật toán tokenization (kiểm tra ngày 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Repo model trên Hugging Face, Qwen/Qwen3.8-27B (kiểm tra ngày 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repo model trên Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (kiểm tra ngày 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Repo model trên Hugging Face, google/gemma-4-26B-A4B-it (kiểm tra ngày 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
