---
title: "发送前计算 token 数：估算方法、余量与多语言差异 | BroadRouter"
description: "调用大模型 API 前按语言和模型估算提示词 token 数：分词器为何不同、五种语言的实测数据，以及 max_tokens 该留多少余量。"
url: https://broadrouter.com/zh/blog/count-tokens-before-sending/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/count-tokens-before-sending/)（2026-11-16 更新）。

# 发送大模型请求前，怎么计算 token 数？

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

如果所调用模型的分词器是公开的，就用它来计算 token 数；否则用真实请求返回的 usage 字段，按语言和内容类型校准“每 token 字符数”。再加 10% 到 20% 的余量，然后检查提示词 token 加上 max\_tokens 是否放得进上下文窗口，思考模型还要为思考 token 留出空间。

## 要点

-   不同模型的分词器不同。在我们的测试中，同一句阿拉伯语用 cl100k\_base 是 102 个 token，用 o200k\_base 是 46 个，用各开源模型的分词器是 48 到 58 个。
-   在这次小规模测试中，英文文本在每个分词器上都约为每 token 4.5 个字符；代码、JSON 和大多数非拉丁文字每个字符消耗的 token 更多。
-   模型的分词器不公开时，就做校准：发送样本，读取 usage.prompt\_tokens，按语言和内容类型保存一个比例。
-   上下文窗口同时包含提示词和输出。预算要按“提示词 + max\_tokens + 余量”算，不能只算提示词。
-   在思考模型上，思考过程计入 max\_tokens；BroadNet 建议至少设为 1,000，或使用 reasoning\_effort low。

**本页内容**

1.  为什么不同模型的 token 数不一样？
2.  怎么精确计算 token 数？
3.  分词器不公开时，怎么估算 token 数？
4.  max\_tokens 和上下文应该留多少余量？
5.  token 估算常在哪里出错？
6.  BroadNet Inference 适合什么场景

发送请求前需要知道 [token](https://broadrouter.com/zh/glossary/token/) 数，原因有三个：不超出[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)、设定合理的 [max\_tokens](https://broadrouter.com/zh/glossary/max-tokens/)，以及估算成本。精确的数字只能来自模型自己的分词器，靠谱的估算则来自校准。本文用真实测量数据把两种方法都讲清楚。

## 为什么不同模型的 token 数不一样？

分词器把文本切分成来自固定词表的片段。每个模型家族都训练自己的分词器。词表越大，或者训练时某种语言的语料越多，这种语言切出来的 token 就越少。所以“这段提示词有多少个 token”，对每个模型的答案都不一样。

我们测量了同一条简短的客服消息（翻译成四种语言），外加一个小的 Python 函数和一个发票 JSON 对象。OpenAI 的计数来自 [tiktoken](https://github.com/openai/tiktoken)（`cl100k_base` 对应 GPT-4 时代，`o200k_base` 对应 GPT-4o 时代）。开源模型的计数来自各家族在 Hugging Face 上发布的分词器文件，不含对话模板，测量日期为 2026 年 11 月 14 日。

| 文本（含义相同） | 字符数 | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 英文，31 个单词 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| 西班牙语 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| 阿拉伯语 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 中文 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 函数 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 发票 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

每行只有一个样本，所以这些数字只是示意，不是基准测试。但有三点结论依然成立。第一，分词器的代际很重要：同一段阿拉伯语从 `cl100k_base` 换到 `o200k_base`，token 数减少了一半以上。第二，开源模型之间也有差别：同一段阿拉伯语从 48 到 58 个 token 不等，JSON 从 60 到 72 个不等。第三，结构化内容在哪里都很“费 token”：JSON 在每个分词器上都约为每 token 2 个字符。

你可以用免费的 [token 计算器](https://broadrouter.com/tools/token-counter/)在自己的文本上重复这个测试，也可以用分家族的计算器：[DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/)、[Qwen](https://broadrouter.com/tools/qwen-token-counter/) 和 [GPT](https://broadrouter.com/tools/gpt-token-counter/)。想看改动提示词能省多少，可以在[提示词 token 对比工具](https://broadrouter.com/tools/prompt-token-diff/)里比较前后两个版本。至于阿拉伯语为什么格外费 token，基于更长文本的测量见[阿拉伯语与英语的每词 token 数](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)。

## 怎么精确计算 token 数？

如果模型的分词器是公开的，就加载它在本地计数。OpenAI 模型的做法如下：

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

开源权重的模型家族，分词器通常和模型一起发布在 Hugging Face 上，用 `AutoTokenizer.from_pretrained(...)` 加载。有两点需要注意：对话模板会为角色和分隔符额外增加 token；API 服务商部署的版本也可能与公开文件不同。BroadNet 的 API 参考没有说明提供 token 计数端点，也没有列出每个模型的分词器，所以公开分词器只能给出接近的估算，精确数字要在调用后看 `usage.prompt_tokens`。

## 分词器不公开时，怎么估算 token 数？

每个模型校准一次，之后在本地估算：

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

每种内容类型至少用 20 个真实样本（你实际的提示词，而不是 lorem ipsum）。只有一个词的基准请求用来扣除对话模板的固定开销，`estimate` 再以 `overhead` 的形式把它加回来；请把它设为你测得的基准值。只有当你真的会调用 BroadNet 最便宜的模型时，才在它上面校准：[Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 的比例不能套用到 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 上。图像也按输入 token 计费，图像越大消耗越多，所以要按分辨率单独校准。

## max\_tokens 和上下文应该留多少余量？

窗口同时包含提示词**和**输出。在思考模型上，输出还包括隐藏的思考过程，以[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/) 的形式报告。按下面的方式做预算：

1.  **提示词估算** = 校准后的计数 × 1.15（15% 的安全余量）。
2.  **回答预算** = 你能接受的最长回答。
3.  **思考预算** = 思考模型至少 1,000 个 token；BroadNet 的文档建议至少 1,000，或者使用 `reasoning_effort: "low"`，因为上限太小可能返回空回答。
4.  **max\_tokens** = 回答预算 + 思考预算。
5.  **检查**：提示词估算 + max\_tokens ≤ 上下文窗口。如果放不下，删减提示词，而不是回答。

BroadNet Inference 上各模型的上下文窗口（来自公开的价格文件）：

| 模型 | 上下文窗口 | 输出 16K、余量 15% 时的实际提示词上限 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | 约 897,000 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 1,048,576 | 约 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 262,144 | 约 213,000 |
| Gemma 4 VL 26B | 32,768 | 约 14,000 |

上限一列的计算方式是 (窗口 − 16,384) ÷ 1.15，向下取整。把 16,384 换成你自己的 max\_tokens 即可。

## token 估算常在哪里出错？

-   **数单词而不是数 token。**“每 token 0.75 个单词”的规则只适用于英文。我们那段 29 个单词的阿拉伯语样本，按分词器不同是 46 到 102 个 token。
-   \*\*忘了工具和系统提示词。\*\*工具 schema 是 JSON，非常费 token。要把它们算作提示词的一部分。
-   \*\*以为会被自动截断。\*\*有些工具会不打招呼地丢掉旧消息。BroadNet 表示不会裁剪你的上下文，所以要在发送前检查大小，而不是指望服务器替你截断。[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)可以帮你做这个检查。
-   \*\*忽视历史记录的增长。\*\*在聊天或智能体循环中，提示词每一轮都会变长。每次调用都要重新检查预算，而不是每个会话只查一次。稳定的历史记录也更容易命中缓存，见[面向缓存的提示词结构](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)。

如果你处理的是阿拉伯语，分词器又多了一个理由让你用自己的文本测试模型；其余要点见[如何为阿拉伯语选择大模型](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)。要把 token 数换算成每月账单，见[上线前如何估算大模型 API 成本](https://broadrouter.com/zh/blog/estimate-llm-api-cost-before-launch/)。

## BroadNet Inference 适合什么场景

BroadNet Inference 在每个响应中都返回 `prompt_tokens`、`completion_tokens`，以及（模型报告时的）缓存 token 和思考 token 数，校准所需的信息都在这里。它没有公开计数端点，也没有公布每个模型的分词器，所以发送前的计数都是估算。百万 token 模型上的长上下文用法见[上下文窗口指南](https://broadrouter.com/zh/blog/million-token-context-window-guide/)，每百万 token 的价格见[价格页面](https://broadrouter.com/zh/pricing/)。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[max\_tokens（最大输出 token 数）](https://broadrouter.com/zh/glossary/max-tokens/)

max\_tokens 是大模型 API 的一个参数，用于设定模型在一次回复中最多能生成多少 token。生成达到上限时就会停止，响应会被标记为截断，例如 finish\_reason 为 "length"。

[对话模板（chat template）](https://broadrouter.com/zh/glossary/chat-template/)

对话模板是一套格式规则，通常用 Jinja 编写并随模型的分词器一起发布，它把带角色的对话消息列表转换成模型期望的单一 token 序列，包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。

[开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)

开放权重模型是公开发布训练好的权重、任何人都可以下载和运行的机器学习模型，通常附带有条件的许可证。它不同于完全开源的 AI，后者还会公开训练代码和训练数据的详细信息，让其他人能够研究并复现模型。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[思考 token（reasoning tokens）](https://broadrouter.com/zh/glossary/reasoning-tokens/)

思考 token（reasoning tokens）是推理模型在写出可见回答之前、为解决问题而生成的 token。它们通常按输出 token 计费，计入输出上限和上下文窗口，API 可能将其隐藏或只返回摘要。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

## 常见问题

### 一个单词大概是多少个 token？

BroadRouter 的分词器数据集汇总了五种分词器（BroadNet 四个对话模型的分词器和 OpenAI 的 o200k\_base；文中的示例表格还加入了 cl100k\_base）。按这个数据集，1,000 个英文单词约为 1,290 个 token，即每个单词约 1.29 个 token。常见的经验法则“每 token 0.75 个单词”对英文文本来说比较接近。阿拉伯语、其他非拉丁文字和代码每个单词消耗的 token 更多。请用你实际调用的模型测量自己的文本。

### 能用 tiktoken 计算 DeepSeek、Qwen 或 Gemma 的 token 数吗？

只能作为粗略估算。tiktoken 实现的是 OpenAI 的编码方式。其他模型家族有自己的分词器，通常发布在 Hugging Face 上，计数结果会不同。请用 usage 字段校准。

### 有没有免费工具可以计算 DeepSeek、Qwen、GLM 或 Gemma 的 token 数？

有。BroadRouter 的免费 token 计算器在你的浏览器里运行这些模型家族公开发布的分词器，文本不会离开你的电脑。把结果当作 API 将报告数值的估算即可，因为对话模板还会多加几个 token。

### 提示词超过上下文窗口会怎样？

大多数 API 会返回错误。有些工具会悄悄裁掉旧消息。BroadNet 不会裁剪你的上下文，所以发送前要检查提示词加 max\_tokens 是否在窗口之内。

### max\_tokens 应该留多少余量？

估算你预期的最长回答，思考模型再加上思考预算，并让窗口保留 10% 到 20% 的空间，以应对估算误差。

## 继续阅读

-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)
-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)
-   [上线新功能前，怎样估算大模型 API 费用](https://broadrouter.com/zh/blog/estimate-llm-api-cost-before-launch/)
-   [如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)
-   [减少提示词 token：系统提示词、工具和数据的实测精简](https://broadrouter.com/zh/blog/reduce-prompt-tokens/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-count-tokens-before-sending&utm_content=page-cta) ·

**来源**

-   [tiktoken README：编码方式，以及约每 token 4 字节（2026-11-14 查阅）](https://github.com/openai/tiktoken)
-   [BroadNet Inference API 参考：max\_tokens 与思考（2026-11-14 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-count-tokens-before-sending&utm_content=sources)
-   [BroadNet Inference 机器可读的价格与上下文长度（pricing.json，2026-11-14 查阅）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers 分词器文档（2026-11-14 查阅）](https://huggingface.co/docs/transformers/main_classes/tokenizer)
