---
title: "什么是大模型延迟？端到端响应时间详解 | BroadRouter"
description: "大模型延迟是一个请求从发出提示词到收到最后一个 token 所用的时间。它由哪些部分组成（TTFT、token 间延迟）、如何看百分位，以及什么会影响它。"
url: https://broadrouter.com/zh/glossary/latency/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/latency/) (2026-11-16 更新).

# 延迟（latency）

更新于 2026-11-16

对于语言模型 API，延迟是一个请求从发出到收到最后一个输出 token 所用的时间。它等于首 token 延迟加上生成时间，通常以 p50、p95 等百分位而不是平均值来报告。

又称： 大模型延迟、端到端延迟、响应时间、响应延迟、token 间延迟、latency、LLM latency、end-to-end latency、response time、e2e latency、inter-token latency

延迟是用户能切身感受到的数字，也是团队从演示走向生产时最常被它吓一跳的数字。

## 工作原理

NVIDIA 的指标指南给出了单个请求的核心公式：

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

即：端到端延迟 = TTFT + 生成时间；token 间延迟（ITL）=（端到端延迟 − TTFT）÷（输出 token 数 − 1）。

[首 token 延迟](https://broadrouter.com/zh/glossary/time-to-first-token/)涵盖网络、排队和读取提示词。生成时间是首个 token 之后的全部时间：（输出 token 数 − 1）× token 间延迟（ITL），回复较长时约等于输出 token 数 × ITL。NVIDIA 说，端到端延迟 “includes queueing, batching, and network latency.”（译文：包括排队、批处理和网络延迟。）

用整数举个例子：假设模型每秒流式输出 50 个 token。一个 600 token 的回复需要 600 ÷ 50 = 12 秒来生成。再加上一秒的 TTFT，这个请求大约耗时 13 秒。回复长度减半能省 6 秒；TTFT 减半只省半秒。在这里，输出长度起决定作用。

对一个应用来说，请求很少是孤立的。用户屏幕上感受到的延迟，还包括出错后的重试、等待[并发](https://broadrouter.com/zh/glossary/concurrency/)名额的时间、模型各轮之间的工具调用，以及你自己的代码。

## 为什么重要

OpenAI 的延迟指南列出了七项原则：更快地处理 token、少生成 token、少用输入 token、少发请求、并行化、让用户少等，以及不要默认就用大模型。其中大部分是设计上的选择，而不是选哪家服务商的问题。

请报告百分位。p50 为 4 秒、p95 为 30 秒，意味着每二十个用户中就有一个要等半分钟甚至更久。平均值会掩盖这条长尾，而超时设置恰恰取决于它。

延迟和[吞吐量](https://broadrouter.com/zh/glossary/throughput/)相互牵制。NVIDIA 指出，随着并发请求增加，系统每秒总 token 数上升，而每个用户每秒得到的 token 数下降。一家繁忙的服务商可以服务更多人，同时让每个人都觉得更慢。

## 在 BroadNet Inference 上

BroadNet 的套餐页面给出的典型速度为 约每秒 100 个 token。它的文档没有公布 TTFT 或延迟百分位数据。按量付费密钥允许同时有 4 个进行中的请求；文档把并发限制列为 HTTP 429 的原因之一，而每次 429 之后的重试都会增加你这一侧的延迟。长时间运行的智能体应设置超时和有上限的重试；参见[长时间运行智能体的超时与重试](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/)。要在客户端测量每一部分，请看[大模型延迟指南](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。

## 常见问题

### 延迟和吞吐量有什么区别？

延迟是单个请求花多长时间。吞吐量是系统在所有请求上每秒完成多少工作。服务器可以通过批量处理更多请求来提高吞吐量，同时每个请求都变慢。

### 什么是 token 间延迟？

第一个 token 之后，输出 token 之间的平均间隔，也叫每个输出 token 的时间。NVIDIA 把它定义为端到端延迟减去 TTFT，再除以输出 token 数减一。

### 怎样降低大模型延迟？

少生成一些输出 token、发送更短的提示词、用流式输出让用户更早看到文字，并把相互独立的调用并行执行。OpenAI 的延迟指南把这些列在它的七项原则之中。

## 另请参阅

-   [首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/) (术语)
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/) (术语)
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/) (术语)
-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/) (术语)
-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/) (术语)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/) (指南)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/) (指南)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/) (文章)
-   [长时间运行的智能体：可靠的超时、重试与检查点](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-latency&utm_content=page-cta) ·

**来源**

-   [NVIDIA NIM：大模型基准测试指标（端到端延迟、token 间延迟）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI：延迟优化指南（七项原则）](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference 套餐（典型速度） （英文）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-latency&utm_content=sources)
