---
title: "Đếm token trước khi gửi: ước tính, biên dự phòng, ngôn ngữ"
description: "Ước tính số token của prompt theo ngôn ngữ và model trước khi gọi API LLM: vì sao tokenizer khác nhau, số đo thực tế với năm ngôn ngữ và biên max_tokens an toàn."
url: https://broadrouter.com/vi/blog/count-tokens-before-sending/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/count-tokens-before-sending/) (cập nhật ngày 2026-11-16).

# Cách đếm token trước khi gửi request tới LLM

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

Hãy đếm bằng tokenizer của model bạn gọi nếu nó được công bố; nếu không, hãy hiệu chỉnh tỷ lệ ký tự trên token từ trường usage của request thật, theo ngôn ngữ và loại nội dung. Cộng thêm 10 đến 20% biên dự phòng, rồi kiểm tra token prompt cộng max\_tokens có vừa context window không, chừa chỗ cho token suy luận ở model thinking.

## Ý chính

-   Tokenizer khác nhau theo model. Trong thử nghiệm của chúng tôi, cùng một câu tiếng Ả Rập đo được 102 token với cl100k\_base, 46 với o200k\_base và 48 đến 58 với tokenizer của các model mở.
-   Văn xuôi tiếng Anh cho khoảng 4,5 ký tự mỗi token trên mọi tokenizer trong thử nghiệm ngắn này; code, JSON và phần lớn chữ viết không phải Latin tốn nhiều token hơn trên mỗi ký tự.
-   Khi tokenizer của model không được công bố, hãy hiệu chỉnh: gửi mẫu, đọc usage.prompt\_tokens, rồi lưu một tỷ lệ cho từng ngôn ngữ và loại nội dung.
-   Context window bao gồm cả prompt lẫn đầu ra. Hãy lập ngân sách prompt + max\_tokens + biên dự phòng, đừng bao giờ chỉ tính prompt.
-   Với model suy luận, phần thinking được tính vào max\_tokens; BroadNet khuyến nghị ít nhất 1.000 hoặc reasoning\_effort low.

**Trong trang này**

1.  Vì sao số token khác nhau giữa các model?
2.  Làm sao đếm token chính xác?
3.  Làm sao ước tính token khi tokenizer không được công bố?
4.  Nên dùng biên dự phòng nào cho max\_tokens và context?
5.  Ước tính token thường sai ở đâu?
6.  BroadNet Inference phù hợp ở đâu?

Bạn cần biết số [token](https://broadrouter.com/vi/glossary/token/) trước khi gửi request vì ba lý do: để nằm trong [context window](https://broadrouter.com/vi/glossary/context-window/), để chọn [max\_tokens](https://broadrouter.com/vi/glossary/max-tokens/) hợp lý, và để ước tính chi phí. Con số chính xác chỉ có được từ tokenizer của chính model. Ước tính tốt có được nhờ hiệu chỉnh. Bài này trình bày cả hai, kèm số đo thực tế.

## Vì sao số token khác nhau giữa các model?

Tokenizer chia văn bản thành các mảnh lấy từ một bộ từ vựng cố định. Mỗi dòng model tự huấn luyện tokenizer riêng. Bộ từ vựng lớn hơn, hoặc được huấn luyện với nhiều dữ liệu của một ngôn ngữ hơn, sẽ tạo ít token hơn cho ngôn ngữ đó. Vì vậy câu hỏi “prompt này bao nhiêu token” có câu trả lời khác nhau cho từng model.

Chúng tôi đã đo cùng một tin nhắn chăm sóc khách hàng ngắn, dịch sang bốn ngôn ngữ, cùng một hàm Python nhỏ và một object JSON hóa đơn. Số của OpenAI lấy từ [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base`, thời GPT-4, và `o200k_base`, thời GPT-4o). Số của model mở lấy từ các file tokenizer mà từng dòng model công bố trên Hugging Face, đếm không kèm chat template, vào ngày 14 tháng 11 năm 2026.

| Văn bản (cùng nghĩa) | Ký tự | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Tiếng Anh, 31 từ | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Tiếng Tây Ban Nha | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Tiếng Ả Rập | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Tiếng Trung | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Hàm Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON hóa đơn | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

Mỗi hàng chỉ có một mẫu, nên hãy coi các con số là minh họa, không phải benchmark. Dù vậy, ba bài học vẫn đứng vững. Thế hệ tokenizer có ý nghĩa: đoạn tiếng Ả Rập giảm hơn một nửa từ `cl100k_base` sang `o200k_base`. Các model mở cũng khác nhau: cùng đoạn tiếng Ả Rập dao động từ 48 đến 58 token, còn JSON từ 60 đến 72. Và nội dung có cấu trúc ở đâu cũng dày token: JSON chạy ở khoảng 2 ký tự mỗi token trên mọi tokenizer.

Bạn có thể lặp lại phép đo này với văn bản của mình bằng [công cụ đếm token](https://broadrouter.com/tools/token-counter/) miễn phí, hoặc các công cụ đếm riêng cho [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/) và [GPT](https://broadrouter.com/tools/gpt-token-counter/). Để xem một chỉnh sửa prompt tiết kiệm được bao nhiêu, hãy so sánh hai phiên bản trong [công cụ so sánh token prompt](https://broadrouter.com/tools/prompt-token-diff/). Lý do riêng tiếng Ả Rập tốn nhiều token hơn, đo trên các văn bản dài hơn, được trình bày trong [số token mỗi từ: tiếng Ả Rập và tiếng Anh](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/).

## Làm sao đếm token chính xác?

Nếu tokenizer của model được công bố, hãy tải nó và đếm ngay trên máy. Với model của OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

Với các dòng model open-weight, tokenizer thường đi kèm model trên Hugging Face và tải được bằng `AutoTokenizer.from_pretrained(...)`. Có hai lưu ý: chat template thêm token cho vai trò và dấu phân cách, và phiên bản mà nhà cung cấp API triển khai có thể khác file công khai. Tài liệu API của BroadNet không mô tả endpoint đếm token hay tokenizer của từng model, nên tokenizer công khai cho ước tính sát, còn con số chính xác là `usage.prompt_tokens` sau khi gọi.

## Làm sao ước tính token khi tokenizer không được công bố?

Hiệu chỉnh một lần cho mỗi model, rồi ước tính ngay trên máy:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Hãy dùng từ 20 mẫu thật trở lên cho mỗi loại nội dung (prompt bạn thực sự dùng, không phải lorem ipsum). Request nền một từ giúp loại bỏ phần overhead cố định của chat template, và `estimate` cộng lại phần đó dưới dạng `overhead`; hãy đặt nó bằng giá trị nền bạn đo được. Chỉ hiệu chỉnh trên model rẻ nhất của BroadNet nếu đó chính là model bạn sẽ gọi: tỷ lệ của [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) không áp dụng được cho [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/). Ảnh cũng được tính phí như token đầu vào, ảnh lớn hơn tốn nhiều hơn, nên hãy hiệu chỉnh riêng theo độ phân giải.

## Nên dùng biên dự phòng nào cho max\_tokens và context?

Window bao gồm prompt **và** đầu ra. Với model suy luận, đầu ra gồm cả phần thinking ẩn, được báo dưới dạng [token suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/). Hãy lập ngân sách như sau:

1.  **Ước tính prompt** = số đếm đã hiệu chỉnh × 1,15 (biên an toàn 15%).
2.  **Ngân sách câu trả lời** = câu trả lời dài nhất bạn chấp nhận.
3.  **Ngân sách suy luận** = với model thinking, ít nhất 1.000 token; tài liệu của BroadNet khuyến nghị ít nhất 1.000 hoặc `reasoning_effort: "low"`, vì giới hạn nhỏ có thể trả về câu trả lời rỗng.
4.  **max\_tokens** = ngân sách câu trả lời + ngân sách suy luận.
5.  **Kiểm tra**: ước tính prompt + max\_tokens ≤ context window. Nếu không vừa, hãy cắt prompt, đừng cắt câu trả lời.

Context window trên BroadNet Inference, theo file giá đã công bố:

| Model | Context window | Trần prompt thực tế với 16K đầu ra và biên 15% |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1.048.576 | khoảng 897.000 |
| [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) | 1.048.576 | khoảng 897.000 |
| [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) | 262.144 | khoảng 213.000 |
| Gemma 4 VL 26B | 32.768 | khoảng 14.000 |

Cột trần được tính bằng (window − 16.384) ÷ 1,15, làm tròn xuống. Hãy thay 16.384 bằng max\_tokens của bạn.

## Ước tính token thường sai ở đâu?

-   **Đếm từ thay vì token.** Quy tắc 0,75 từ mỗi token là dành cho tiếng Anh. Mẫu tiếng Ả Rập 29 từ của chúng tôi tốn từ 46 đến 102 token tùy tokenizer.
-   **Quên công cụ và system prompt.** Schema công cụ là JSON, vốn dày token. Hãy tính chúng vào prompt.
-   **Cho rằng server sẽ âm thầm cắt bớt.** Một số công cụ bỏ tin nhắn cũ mà không báo. BroadNet cho biết không cắt context của bạn, nên hãy kiểm tra kích thước trước khi gửi thay vì trông vào server. [Công cụ tính context window](https://broadrouter.com/tools/context-window-calculator/) làm việc kiểm tra này cho bạn.
-   **Bỏ qua việc lịch sử hội thoại lớn dần.** Trong vòng lặp chat hay agent, prompt dài thêm mỗi lượt. Hãy kiểm tra lại ngân sách ở mỗi lần gọi, không phải một lần cho cả phiên. Lịch sử ổn định cũng cache tốt hơn; xem [cấu trúc prompt cho cache](https://broadrouter.com/vi/blog/prompt-structure-for-caching/).

Nếu bạn làm việc với tiếng Ả Rập, tokenizer là thêm một lý do để test model trên văn bản của chính bạn; [chọn LLM cho tiếng Ả Rập](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/) trình bày phần còn lại. Để quy số token ra hóa đơn hằng tháng, xem [cách ước tính chi phí API LLM trước khi ra mắt](https://broadrouter.com/vi/blog/estimate-llm-api-cost-before-launch/).

## BroadNet Inference phù hợp ở đâu?

BroadNet Inference trả về `prompt_tokens`, `completion_tokens` và, khi model có báo, số token cache và token suy luận trong mọi phản hồi, tức là tất cả những gì bạn cần để hiệu chỉnh. Dịch vụ không công bố endpoint đếm token hay tokenizer theo model, nên số đếm trước khi gửi là ước tính. Việc dùng context dài trên các model 1M token được trình bày trong [hướng dẫn context window](https://broadrouter.com/vi/blog/million-token-context-window-guide/), còn giá mỗi 1M token có trên [trang giá](https://broadrouter.com/vi/pricing/).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/)

Tokenizer là thành phần chuyển văn bản thành chuỗi token ID số nguyên mà mô hình ngôn ngữ đọc, và chuyển các ID được sinh ra trở lại thành văn bản. Mỗi model có tokenizer riêng, nên cùng một văn bản có thể cho ra số token khác nhau trên các model khác nhau.

[Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/)

Context window là số token tối đa mà model ngôn ngữ xử lý được trong một request. Nó bao gồm prompt, lịch sử hội thoại, định nghĩa tool, hình ảnh và đầu ra được sinh ra, kể cả token suy luận. Phần không vừa phải được cắt bớt, tóm tắt hoặc chia ra nhiều request.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[max\_tokens (giới hạn token đầu ra)](https://broadrouter.com/vi/glossary/max-tokens/)

max\_tokens là tham số của API LLM đặt số token tối đa mà model được sinh trong một phản hồi. Khi chạm giới hạn, việc sinh dừng lại và phản hồi được đánh dấu là bị cắt, ví dụ finish\_reason được đặt là "length".

[Chat template](https://broadrouter.com/vi/glossary/chat-template/)

Chat template là quy tắc định dạng, thường viết bằng Jinja và đi kèm tokenizer của model, chuyển danh sách message có vai trò thành một chuỗi token duy nhất mà model cần, kể cả các token điều khiển đặc biệt. Dùng sai template có thể làm câu trả lời của model kém đi rõ rệt.

[Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/)

Model trọng số mở (open-weight) là model học máy có trọng số đã huấn luyện được công bố để ai cũng tải về và chạy, thường kèm giấy phép có điều kiện. Nó khác AI mã nguồn mở hoàn toàn, vốn công bố thêm code huấn luyện và chi tiết dữ liệu huấn luyện để người khác tái tạo model.

[Token suy luận (reasoning tokens)](https://broadrouter.com/vi/glossary/reasoning-tokens/)

Token suy luận (reasoning tokens) là token mà model suy luận sinh ra để giải quyết vấn đề trước khi viết câu trả lời hiển thị. Chúng thường được tính phí như token đầu ra, tính vào giới hạn đầu ra và context window, và có thể bị API ẩn đi hoặc tóm tắt.

## Câu hỏi thường gặp

### Một từ bằng bao nhiêu token?

Theo bộ dữ liệu tokenizer của BroadRouter, gộp năm tokenizer (của bốn model chat BroadNet và o200k\_base của OpenAI; bảng ví dụ trong bài có thêm cl100k\_base), 1.000 từ tiếng Anh vào khoảng 1,290 token, tức khoảng 1.29 token mỗi từ. Quy tắc phổ biến 0,75 từ mỗi token khá sát với văn xuôi tiếng Anh. Tiếng Ả Rập, các chữ viết không phải Latin khác và code tốn nhiều token hơn mỗi từ. Hãy đo văn bản của chính bạn với model bạn gọi.

### Có thể dùng tiktoken để đếm token cho DeepSeek, Qwen hay Gemma không?

Chỉ như một ước tính thô. tiktoken cài đặt các encoding của OpenAI. Các dòng model khác có tokenizer riêng, thường đăng trên Hugging Face, và số token khác nhau. Hãy hiệu chỉnh theo trường usage.

### Có công cụ miễn phí nào đếm token cho DeepSeek, Qwen, GLM hay Gemma không?

Có. Công cụ đếm token miễn phí của BroadRouter chạy các tokenizer đã công bố của những dòng model này ngay trong trình duyệt, nên văn bản không rời khỏi máy bạn. Hãy coi kết quả là ước tính của con số API sẽ báo, vì chat template thêm vài token.

### Chuyện gì xảy ra nếu prompt dài hơn context window?

Phần lớn API trả về lỗi. Một số công cụ âm thầm cắt bớt tin nhắn cũ. BroadNet không cắt context của bạn, nên hãy kiểm tra prompt cộng max\_tokens so với window trước khi gửi.

### Nên chừa bao nhiêu biên dự phòng cho max\_tokens?

Ước tính câu trả lời dài nhất bạn chờ đợi, cộng ngân sách suy luận nếu là model thinking, và để trống 10 đến 20% window cho sai số ước tính.

## Đọc tiếp

-   [Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/)
-   [Khi nào context window 1M token đáng dùng (và khi nào không)](https://broadrouter.com/vi/blog/million-token-context-window-guide/)
-   [Cách ước tính chi phí API LLM trước khi ra mắt một tính năng](https://broadrouter.com/vi/blog/estimate-llm-api-cost-before-launch/)
-   [Cách cấu trúc prompt để phần đầu được cache](https://broadrouter.com/vi/blog/prompt-structure-for-caching/)
-   [Giảm token prompt: số đo thực cho system prompt, tool và dữ liệu](https://broadrouter.com/vi/blog/reduce-prompt-tokens/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Nguồn**

-   [README của tiktoken, các encoding và khoảng 4 byte mỗi token (truy cập 2026-11-14)](https://github.com/openai/tiktoken)
-   [Tài liệu API BroadNet Inference, max\_tokens và suy luận (truy cập 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-count-tokens-before-sending&utm_content=sources)
-   [File giá và độ dài context dạng máy đọc của BroadNet Inference (pricing.json, truy cập 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, tài liệu tokenizer (truy cập 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
