---
title: "大模型里的 token 是什么？一文讲清 token | BroadRouter"
description: "token 是大模型读写文本的基本单位，也是 API 计费和限制的单位。本文介绍分词器如何切分文本、token 与字数的大致换算，以及 token 为什么决定成本。"
url: https://broadrouter.com/zh/glossary/token/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/token/) (2026-11-14 更新).

# Token（词元）

更新于 2026-11-14

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

又称： 词元、令牌、标记、分词、tokenization、token 数、LLM token、tokens、Token

模型看到的不是字母或单词，而是一串整数，每个整数代表固定词表中的一段文本。这些文本片段就是 token。

## 工作原理

在模型读取文本之前，[分词器](https://broadrouter.com/zh/glossary/tokenizer/)会先把文本切开。大多数现代模型使用子词切分方法，例如[字节对编码（BPE）](https://broadrouter.com/zh/glossary/bpe/)。常见词保持完整，罕见词被拆成几部分。Hugging Face 举的例子是：`annoyingly` 可能被切成 `annoying` 和 `ly`。

字节级 BPE 从 256 个字节值起步，因此任何输入都能被编码，包括表情符号和各种文字。

对于英文，OpenAI 的经验法则是每个 token 约 4 个字符或 0.75 个单词，所以 100 个 token 大约是 75 个单词。我们在五个当前分词器上实测英文散文，结果约为每 100 个单词 129 个 token，即每 1,000 个单词 1,290 个 token，与经验法则接近。但无论哪个比例都只是估算：

-   其他语言（包括阿拉伯语）在主要用英文训练的分词器上，每个词往往会被切成更多 token；
-   代码、数字和空白字符的切分方式与散文不同；
-   每个模型系列都有自己的词表。

想在发送前估算，可以把文本粘贴到 [token 计数器](https://broadrouter.com/tools/token-counter/)里。API 会在每个响应的 `usage` 块中返回真实数量：

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## 为什么重要

大模型 API 上几乎每个数字背后的单位都是 token：

-   **价格。** 按 token 计费的 API 按每百万[输入和输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 收费，两者单价往往不同。
-   **限制。** [上下文窗口](https://broadrouter.com/zh/glossary/context-window/)和 `max_tokens` 都以 token 计量，许多速率限制也按每分钟 token 数计算。
-   **速度。** 生成速度以[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)表示。

同一段文本在不同模型上的 token 数可能不同，阿拉伯语尤其明显。[分词效率数据集](https://broadrouter.com/data/tokenizer-efficiency/)测量了每个模型在英文、阿拉伯语和代码上每 100 个单词的 token 数。

## 在 BroadNet Inference 上

对话模型按每百万 token 计价。以 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 为例，新输入 $0.175，[缓存输入](https://broadrouter.com/zh/glossary/cached-input-tokens/) $0.0055，输出 $0.52。[BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 输入 $0.10，输出 $0.22。所有模型的单价都在[价格页面](https://broadrouter.com/zh/pricing/)上。

在固定价格套餐上，token 完全不计量：DeepSeek V4.1 Flash 的会话没有 token 计量表，实际的限制是速度，即 约每秒 100 个 token。语音转文字模型按音频分钟计费，而不是按 token。

## 常见错误

-   用单词数估算非英文文本的费用。请在真实样本上用 `usage` 实测。
-   忘了思考（reasoning）模型也会把输出 token 花在思考上。参见[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/)。

## 常见问题

### 1,000 个 token 大约是多少个英文单词？

对于英文散文，按 BroadRouter 在五个分词器上的实测，大约是 775 个单词（1,000 个英文单词约为 1,290 个 token）。按 OpenAI 的经验法则，一个 token 约等于四分之三个单词，即 750 个单词。其他语言、代码以及其他模型的分词器比例都不同，所以在需要精确时，请用该模型自己的分词器来计数。

### 图片和音频也算 token 吗？

发给视觉模型的图片会被转换成输入 token，图片越大通常用得越多。语音转文字 API 则常常按音频分钟计价，而不是按 token。

### 为什么同一段文字在两个模型上的 token 数不一样？

每个模型系列都有自己的分词器和词表，所以同一句话可能被切成数量不同的片段。

## 另请参阅

-   [输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) (术语)
-   [缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/) (术语)
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/) (术语)
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/) (术语)
-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/) (术语)
-   [字节对编码（BPE，byte pair encoding）](https://broadrouter.com/zh/glossary/bpe/) (术语)
-   [词表大小（vocabulary size）](https://broadrouter.com/zh/glossary/vocabulary-size/) (术语)
-   [Logprobs（对数概率）](https://broadrouter.com/zh/glossary/logprobs/) (术语)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/) (指南)
-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/) (文章)
-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-token&utm_content=page-cta) ·

**来源**

-   [Hugging Face Transformers：分词算法（BPE、Unigram、WordPiece）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI：核心概念（token 的经验估算）](https://developers.openai.com/api/docs/concepts)
-   [BroadNet Inference 机器可读价格文件（pricing.json） （英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-token&utm_content=sources)
