---
title: "百万 token 上下文窗口：适用场景与成本 | BroadRouter"
description: "1,048,576 个 token 能放下什么，在 DeepSeek V4.1 Flash 上要花多少钱，思考和缓存如何改变这笔账，以及什么时候 RAG 仍是更好的选择。"
url: https://broadrouter.com/zh/blog/million-token-context-window-guide/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/million-token-context-window-guide/)（2026-11-14 更新）。

# 百万 token 上下文窗口什么时候值得用（什么时候不值得）

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 2026-11-14

百万 token 上下文窗口让一次请求就能装下整个代码库、一整套合同或几个小时的转写稿，模型一次看到全部内容，而不是检索出来的片段。它适合跨文件推理和一次性分析；对于在庞大且不断变化的语料上反复查找，检索更便宜。DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token。

## 要点

-   DeepSeek V4.1 Flash 和 GLM 5.3 每次请求接受 1,048,576 个 token，提示词和回答合计。
-   当答案取决于许多文件或文档之间的关联时，长上下文胜过检索。
-   对于在庞大且不断变化的语料上做许多小查询，检索（RAG）依然更胜一筹。
-   模型对长输入的利用并不均匀。研究表明，埋在中间的信息、以及输入变长时，准确率都会下降。
-   缓存能降低重复发送同一长提示词的成本；在不限量套餐上，长提示词不会产生额外费用。
-   要在窗口里为思考 token 留出空间。

**本页内容**

1.  一百万 token 能放下什么？
2.  BroadNet 的哪些模型有百万 token 上下文窗口？
3.  百万 token 窗口什么时候值得用？
4.  什么时候检索仍是更好的选择？
5.  模型真的会用到整个窗口吗？
6.  一个百万 token 的提示词要花多少钱？
7.  应该给回答留多少空间？
8.  如何为百万 token 提示词准备代码库
9.  BroadNet Inference 适合什么场景

_[image: Light shining through towering cliffs made of stacked paper pages.]_

[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)已经从几千个 token 增长到超过一百万。BroadNet Inference 上的 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 和 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) **每次请求接受 1,048,576 个 token**，提示词和回答合计。这改变了你的构建方式，但并不会让每个提示词都变得更好。

## 一百万 token 能放下什么？

粗略参考：在我们的[分词器效率数据集](https://broadrouter.com/data/tokenizer-efficiency/)中，1,000 个英文单词在五种分词器上平均约为 1,290 个 [token](https://broadrouter.com/zh/glossary/token/)，所以一百万 token 大约相当于 810,000 个普通英文单词：

| 内容 | 大致情况 |
| --- | --- |
| 一个中等规模的代码库（数万行） | 放得下，还有富余 |
| 几份附带附表的长合同 | 放得下 |
| 一整天的会议转写稿 | 放得下 |
| 一个包含依赖的大型 monorepo | 往往放不下；要挑选目录 |

token 数取决于语言和内容。代码和阿拉伯语文本每个字符消耗的 token 往往比英文文本多。请用真实请求返回的 `usage` 来测量，而不是估算，或者在[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)里检查一个样本。

## BroadNet 的哪些模型有百万 token 上下文窗口？

| 模型 | 上下文窗口 | 输入 | 输出 | 图像 |
| --- | --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 1,048,576 | $0.175 | $0.52 | 是 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 1,048,576 | $0.78 | $3.46 | 否 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 262,144 | $0.175 | $2.17 | 是 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 32,768 | $0.10 | $0.22 | 是 |

价格按每百万 token 计。GLM 5.3 在同样的百万窗口上还支持工具调用和结构化输出。

## 百万 token 窗口什么时候值得用？

-   **跨文件推理。**“这个测试为什么失败？”往往取决于五个谁也想不到要一起检索的文件。
-   \*\*整份文档审阅。\*\*要找出第 4 条与附表 B 之间的冲突，两者都得在视野之内。
-   \*\*一次性分析。\*\*对于只问一次的问题，搭建检索索引花的力气比省下的还多。
-   \*\*智能体。\*\*能读完整个模块的子智能体，瞎猜的次数更少。见[并行运行智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)。

## 什么时候检索仍是更好的选择？

在远比任何窗口都大的资料库中做许多小查询、内容每分钟都在变化、以及需要快速交互式回答（先读一个超大提示词会增加延迟）时，检索更胜一筹。很多生产系统两者兼用：先检索出最相关的 200,000 个 token，再让长上下文模型基于全部内容推理。包含单次查询成本、延迟和召回率并排对比的完整决策，见[长上下文还是 RAG](https://broadrouter.com/zh/blog/long-context-vs-rag/)。

## 模型真的会用到整个窗口吗？

用得并不均匀。研究在这一点上结论一致：

-   [Lost in the Middle](https://arxiv.org/abs/2307.03172) 论文（Liu 等）发现，表现 “is often highest when relevant information occurs at the beginning or end of the input context”（译文：往往在相关信息位于输入上下文的开头或结尾时最好）。
-   Chroma 的 [Context Rot](https://www.trychroma.com/research/context-rot) 报告测试了 18 个模型，发现即使是简单任务，“performance grows increasingly unreliable as input length grows”（译文：随着输入变长，表现变得越来越不可靠）。

这些研究并没有测试 BroadNet 上的模型，所以请把它们当作警示，而不是测量结果。实用的原则是：一个能接受一百万 token 的窗口，并不意味着每个 token 都会得到同等的关注。把最重要的内容放在开头或结尾附近，并用你自己的文档测试召回效果。

## 一个百万 token 的提示词要花多少钱？

在[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)密钥上，DeepSeek V4.1 Flash 每百万输入 token 收费 $0.175，每百万[缓存输入 token](https://broadrouter.com/zh/glossary/cached-input-tokens/) 收费 $0.0055。一个满一百万 token 的提示词，第一次约花 $0.175；前缀被缓存后，重复调用会便宜得多。参见[如何提高缓存命中率](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。

[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)可以按你自己的提示词大小，显示一次缓存命中能省多少钱。举个例子：针对同一套 800,000 token 的合同提出十个问题。不用缓存，就是 800 万 token，按每百万 $0.175 计费。如果文档放在最前面并保持不变，第一次调用读取 800,000 个新 token，之后九次调用大部分都能以每百万 $0.0055 的价格从缓存读取。变化的只有问题和回答。

在不限量套餐上，提示词的大小不会改变账单：Full Moon 每个会话每月 $60，不计 token。这也是长上下文智能体常常成为选择[固定价格套餐而非按 token 计费](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)的原因。

## 应该给回答留多少空间？

窗口同时包含提示词**和**输出，而思考模型的输出还包括思考过程。如果你发送 1,040,000 token 的提示词，留给[思考](https://broadrouter.com/zh/glossary/reasoning-tokens/)和回答的就只剩大约 8,000 个。要留出余量，显式设置 [`max_tokens`](https://broadrouter.com/zh/glossary/max-tokens/)，并阅读[思考模型为什么会返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。

## 如何为百万 token 提示词准备代码库

1.  \*\*排除模型不需要的内容。\*\*锁文件、构建产物、vendored 依赖、图片和生成的代码既占 token 又增加噪音。
2.  \*\*发送前先计数。\*\*发送一个小样本，从 usage 中读取 `prompt_tokens`，再按比例放大。
3.  \*\*按稳定性排序。\*\*很少改动的文件放前面，正在修改的文件放后面，问题放在最后。这样前缀可以被缓存。
4.  \*\*给每个文件加标签。\*\*用 `=== path/to/file.py ===` 这样清晰的标记包住文件，方便模型引用。
5.  **要求引用。**“引用你所依据的那一行”能减少在超大输入上自信地犯错。
6.  \*\*测量。\*\*每个请求都记录提示词 token、缓存 token 和首 token 时间。[流式输出](https://broadrouter.com/zh/guides/streaming-chat-completions/)能让第一个 token 一到就显示出来。

## BroadNet Inference 适合什么场景

它有两个对话模型每次请求可接受 1,048,576 个 token，而且 BroadNet 不会裁剪你的上下文。在按 token 计费的密钥上，缓存让重复的长提示词保持在可承受的成本内；在套餐会话中，提示词大小不影响账单。如果你的语料远超一百万 token，或者每分钟都在变化，你仍然需要检索，再大的窗口也改变不了这一点。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[上下文腐化（context rot）](https://broadrouter.com/zh/glossary/context-rot/)

上下文腐化是指语言模型的输入变长时，准确性和可靠性逐渐下降的现象，即使任务不变、输入远未超出上下文窗口也会发生。这个术语因 Chroma 2025 年一份测试了 18 个模型的技术报告而流行。

## 常见问题

### BroadNet 会裁剪过长的提示词吗？

不会。BroadNet 不会裁剪你的上下文。如果提示词加 max\_tokens 超过了模型的窗口，请缩短提示词，而不是指望被悄悄截断。

### 100 万 token 大约是多少个单词？

取决于语言和内容。在 BroadRouter 的分词器数据集中，英文文本约为每 100 个单词 129 个 token（五种分词器平均，1,000 个单词约为 1,290 个 token），所以 1,048,576 个 token 大约能放 810,000 个单词，远超一千页。技术文本、代码和阿拉伯语需要更多 token，请用你的真实内容来计算。

### 百万 token 的请求会很慢吗？

它开始输出的时间比短请求更长，因为模型必须先读完整个提示词。重复调用时，缓存前缀通常会有帮助。请用你自己的提示词测量首 token 时间。

### 大模型真的会用到整个上下文窗口吗？

用得并不均匀。Lost in the Middle 论文发现，相关信息位于输入的开头或结尾时，准确率往往最高；Chroma 的 Context Rot 报告发现，可靠性会随着输入变长而下降。把关键内容放在两端，并用你自己的数据测试。

### 我应该停用 RAG 吗？

不一定。模型需要把所有内容放在一起看时，用长上下文；需要从海量资料中找几条事实时，用检索。很多系统两者兼用。

### 提示词比上下文窗口还大会怎样？

BroadNet 不会替你裁剪，所以请求无法按预期运行。发送前删掉一些文件、总结旧的对话轮次，或者只检索相关部分。

## 继续阅读

-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)
-   [如何在固定价格大模型 API 上运行并行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)
-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-million-token-context-window-guide&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference 机器可读的价格与上下文长度（pricing.json）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-million-token-context-window-guide&utm_content=sources)
-   [BroadNet Inference API 参考（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-million-token-context-window-guide&utm_content=sources)
-   [Liu 等，Lost in the Middle：语言模型如何使用长上下文（arXiv 2307.03172）](https://arxiv.org/abs/2307.03172)
-   [Chroma，Context Rot：输入 token 增加如何影响大模型表现（2025 年 7 月）](https://www.trychroma.com/research/context-rot)
