BroadRouter

Cách đếm token trước khi gửi request tới LLM

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

Hãy đếm bằng tokenizer của model bạn gọi nếu nó được công bố; nếu không, hãy hiệu chỉnh tỷ lệ ký tự trên token từ trường usage của request thật, theo ngôn ngữ và loại nội dung. Cộng thêm 10 đến 20% biên dự phòng, rồi kiểm tra token prompt cộng max_tokens có vừa context window không, chừa chỗ cho token suy luận ở model thinking.

Bạn cần biết số token trước khi gửi request vì ba lý do: để nằm trong context window, để chọn max_tokens hợp lý, và để ước tính chi phí. Con số chính xác chỉ có được từ tokenizer của chính model. Ước tính tốt có được nhờ hiệu chỉnh. Bài này trình bày cả hai, kèm số đo thực tế.

Vì sao số token khác nhau giữa các model?

Tokenizer chia văn bản thành các mảnh lấy từ một bộ từ vựng cố định. Mỗi dòng model tự huấn luyện tokenizer riêng. Bộ từ vựng lớn hơn, hoặc được huấn luyện với nhiều dữ liệu của một ngôn ngữ hơn, sẽ tạo ít token hơn cho ngôn ngữ đó. Vì vậy câu hỏi “prompt này bao nhiêu token” có câu trả lời khác nhau cho từng model.

Chúng tôi đã đo cùng một tin nhắn chăm sóc khách hàng ngắn, dịch sang bốn ngôn ngữ, cùng một hàm Python nhỏ và một object JSON hóa đơn. Số của OpenAI lấy từ tiktoken (cl100k_base, thời GPT-4, và o200k_base, thời GPT-4o). Số của model mở lấy từ các file tokenizer mà từng dòng model công bố trên Hugging Face, đếm không kèm chat template, vào ngày 14 tháng 11 năm 2026.

Văn bản (cùng nghĩa) Ký tự cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
Tiếng Anh, 31 từ 173 37 37 37 38 39 39
Tiếng Tây Ban Nha 160 47 40 50 45 43 42
Tiếng Ả Rập 142 102 46 55 58 48 49
Tiếng Trung 54 51 37 34 35 36 38
Hàm Python 94 33 33 35 33 35 38
JSON hóa đơn 140 59 60 63 60 72 72

Mỗi hàng chỉ có một mẫu, nên hãy coi các con số là minh họa, không phải benchmark. Dù vậy, ba bài học vẫn đứng vững. Thế hệ tokenizer có ý nghĩa: đoạn tiếng Ả Rập giảm hơn một nửa từ cl100k_base sang o200k_base. Các model mở cũng khác nhau: cùng đoạn tiếng Ả Rập dao động từ 48 đến 58 token, còn JSON từ 60 đến 72. Và nội dung có cấu trúc ở đâu cũng dày token: JSON chạy ở khoảng 2 ký tự mỗi token trên mọi tokenizer.

Bạn có thể lặp lại phép đo này với văn bản của mình bằng công cụ đếm token miễn phí, hoặc các công cụ đếm riêng cho DeepSeek, Qwen và GPT. Để xem một chỉnh sửa prompt tiết kiệm được bao nhiêu, hãy so sánh hai phiên bản trong công cụ so sánh token prompt. Lý do riêng tiếng Ả Rập tốn nhiều token hơn, đo trên các văn bản dài hơn, được trình bày trong số token mỗi từ: tiếng Ả Rập và tiếng Anh.

Làm sao đếm token chính xác?

Nếu tokenizer của model được công bố, hãy tải nó và đếm ngay trên máy. Với model của OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

Với các dòng model open-weight, tokenizer thường đi kèm model trên Hugging Face và tải được bằng AutoTokenizer.from_pretrained(...). Có hai lưu ý: chat template thêm token cho vai trò và dấu phân cách, và phiên bản mà nhà cung cấp API triển khai có thể khác file công khai. Tài liệu API của BroadNet không mô tả endpoint đếm token hay tokenizer của từng model, nên tokenizer công khai cho ước tính sát, còn con số chính xác là usage.prompt_tokens sau khi gọi.

Làm sao ước tính token khi tokenizer không được công bố?

Hiệu chỉnh một lần cho mỗi model, rồi ước tính ngay trên máy:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Hãy dùng từ 20 mẫu thật trở lên cho mỗi loại nội dung (prompt bạn thực sự dùng, không phải lorem ipsum). Request nền một từ giúp loại bỏ phần overhead cố định của chat template, và estimate cộng lại phần đó dưới dạng overhead; hãy đặt nó bằng giá trị nền bạn đo được. Chỉ hiệu chỉnh trên model rẻ nhất của BroadNet nếu đó chính là model bạn sẽ gọi: tỷ lệ của Gemma 4 VL 26B không áp dụng được cho DeepSeek V4.1 Flash. Ảnh cũng được tính phí như token đầu vào, ảnh lớn hơn tốn nhiều hơn, nên hãy hiệu chỉnh riêng theo độ phân giải.

Nên dùng biên dự phòng nào cho max_tokens và context?

Window bao gồm prompt và đầu ra. Với model suy luận, đầu ra gồm cả phần thinking ẩn, được báo dưới dạng token suy luận. Hãy lập ngân sách như sau:

  1. Ước tính prompt = số đếm đã hiệu chỉnh × 1,15 (biên an toàn 15%).
  2. Ngân sách câu trả lời = câu trả lời dài nhất bạn chấp nhận.
  3. Ngân sách suy luận = với model thinking, ít nhất 1.000 token; tài liệu của BroadNet khuyến nghị ít nhất 1.000 hoặc reasoning_effort: "low", vì giới hạn nhỏ có thể trả về câu trả lời rỗng.
  4. max_tokens = ngân sách câu trả lời + ngân sách suy luận.
  5. Kiểm tra: ước tính prompt + max_tokens ≤ context window. Nếu không vừa, hãy cắt prompt, đừng cắt câu trả lời.

Context window trên BroadNet Inference, theo file giá đã công bố:

Model Context window Trần prompt thực tế với 16K đầu ra và biên 15%
DeepSeek V4.1 Flash 1.048.576 khoảng 897.000
GLM 5.3 1.048.576 khoảng 897.000
Qwen3.8 27B 262.144 khoảng 213.000
Gemma 4 VL 26B 32.768 khoảng 14.000

Cột trần được tính bằng (window − 16.384) ÷ 1,15, làm tròn xuống. Hãy thay 16.384 bằng max_tokens của bạn.

Ước tính token thường sai ở đâu?

  • Đếm từ thay vì token. Quy tắc 0,75 từ mỗi token là dành cho tiếng Anh. Mẫu tiếng Ả Rập 29 từ của chúng tôi tốn từ 46 đến 102 token tùy tokenizer.
  • Quên công cụ và system prompt. Schema công cụ là JSON, vốn dày token. Hãy tính chúng vào prompt.
  • Cho rằng server sẽ âm thầm cắt bớt. Một số công cụ bỏ tin nhắn cũ mà không báo. BroadNet cho biết không cắt context của bạn, nên hãy kiểm tra kích thước trước khi gửi thay vì trông vào server. Công cụ tính context window làm việc kiểm tra này cho bạn.
  • Bỏ qua việc lịch sử hội thoại lớn dần. Trong vòng lặp chat hay agent, prompt dài thêm mỗi lượt. Hãy kiểm tra lại ngân sách ở mỗi lần gọi, không phải một lần cho cả phiên. Lịch sử ổn định cũng cache tốt hơn; xem cấu trúc prompt cho cache.

Nếu bạn làm việc với tiếng Ả Rập, tokenizer là thêm một lý do để test model trên văn bản của chính bạn; chọn LLM cho tiếng Ả Rập trình bày phần còn lại. Để quy số token ra hóa đơn hằng tháng, xem cách ước tính chi phí API LLM trước khi ra mắt.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference trả về prompt_tokens, completion_tokens và, khi model có báo, số token cache và token suy luận trong mọi phản hồi, tức là tất cả những gì bạn cần để hiệu chỉnh. Dịch vụ không công bố endpoint đếm token hay tokenizer theo model, nên số đếm trước khi gửi là ước tính. Việc dùng context dài trên các model 1M token được trình bày trong hướng dẫn context window, còn giá mỗi 1M token có trên trang giá.

Câu hỏi thường gặp

Một từ bằng bao nhiêu token?

Theo bộ dữ liệu tokenizer của BroadRouter, gộp năm tokenizer (của bốn model chat BroadNet và o200k_base của OpenAI; bảng ví dụ trong bài có thêm cl100k_base), 1.000 từ tiếng Anh vào khoảng 1,290 token, tức khoảng 1.29 token mỗi từ. Quy tắc phổ biến 0,75 từ mỗi token khá sát với văn xuôi tiếng Anh. Tiếng Ả Rập, các chữ viết không phải Latin khác và code tốn nhiều token hơn mỗi từ. Hãy đo văn bản của chính bạn với model bạn gọi.

Có thể dùng tiktoken để đếm token cho DeepSeek, Qwen hay Gemma không?

Chỉ như một ước tính thô. tiktoken cài đặt các encoding của OpenAI. Các dòng model khác có tokenizer riêng, thường đăng trên Hugging Face, và số token khác nhau. Hãy hiệu chỉnh theo trường usage.

Có công cụ miễn phí nào đếm token cho DeepSeek, Qwen, GLM hay Gemma không?

Có. Công cụ đếm token miễn phí của BroadRouter chạy các tokenizer đã công bố của những dòng model này ngay trong trình duyệt, nên văn bản không rời khỏi máy bạn. Hãy coi kết quả là ước tính của con số API sẽ báo, vì chat template thêm vài token.

Chuyện gì xảy ra nếu prompt dài hơn context window?

Phần lớn API trả về lỗi. Một số công cụ âm thầm cắt bớt tin nhắn cũ. BroadNet không cắt context của bạn, nên hãy kiểm tra prompt cộng max_tokens so với window trước khi gửi.

Nên chừa bao nhiêu biên dự phòng cho max_tokens?

Ước tính câu trả lời dài nhất bạn chờ đợi, cộng ngân sách suy luận nếu là model thinking, và để trống 10 đến 20% window cho sai số ước tính.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity