---
title: "什么是请求超时？大模型 API 调用的超时设置 | BroadRouter"
description: "请求超时是客户端等待大模型 API 多久后放弃。连接超时与读取超时、SDK 默认值、408 与 504，以及如何安全地重试。"
url: https://broadrouter.com/zh/glossary/request-timeout/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/request-timeout/) (2026-11-15 更新).

# 请求超时（request timeout）

更新于 2026-11-15

请求超时（request timeout）是 HTTP 客户端在放弃请求之前等待服务器的最长时间。客户端通常把它拆成建立连接的连接超时和等待数据的读取超时。大模型调用需要宽松的读取超时，因为长回答本来就要花时间。

又称： 超时时间、读取超时、连接超时、客户端超时、HTTP 超时、read timeout、connect timeout、client timeout、HTTP timeout

每个网络调用都需要一个“不再等下去”的点。对大模型调用来说，这个点很难定，因为在一段时间内，慢吞吞的回答和已经断掉的连接看起来一模一样。

## 工作原理

HTTP 客户端把等待分成几个阶段。常用的 Python HTTP 客户端 HTTPX 有四种：

| 超时 | HTTPX 中的含义 | 错误 |
| --- | --- | --- |
| Connect（连接） | 建立 socket 连接的最长时间 | `ConnectTimeout` |
| Read（读取） | 等待一段传入数据的最长时间 | `ReadTimeout` |
| Write（写入） | 发送一段请求体的最长等待时间 | `WriteTimeout` |
| Pool（连接池） | 从连接池获取连接的最长等待时间 | `PoolTimeout` |

原生 HTTPX 默认在网络无活动五秒后超时。OpenAI Python SDK 有自己的默认值：“By default requests time out after 10 minutes”（译文：默认情况下请求在 10 分钟后超时），抛出 `APITimeoutError`，并把超时的请求重试两次。它默认还会重试连接错误，以及 408、409、429 和 5xx 响应。

```python
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
```

服务器也有超时。MDN 把 504 Gateway Timeout 定义为网关或代理 “did not get a response in time from the upstream server”（译文：没有及时从上游服务器得到响应），把 408 Request Timeout 定义为服务器想要 “to shut down this unused connection”（译文：关闭这个未使用的连接）。

## 为什么重要

-   **推理模型起步慢。** 思考发生在第一个可见 token 之前。在非流式调用上设置很短的读取超时，可能会切断一个本来正常的请求。
-   **流能发现卡顿。** 使用[流式输出](https://broadrouter.com/zh/glossary/streaming/)时，每个分块都会重置读取计时器，所以即使回答很长，卡顿也能很快暴露出来。
-   **重试可能让费用翻倍。** 超时并不代表服务器停下了。重试一个仍在运行的请求，可能会被计费两次。请使用带上限的[指数退避](https://broadrouter.com/zh/glossary/exponential-backoff/)，并在 API 支持时使用[幂等键](https://broadrouter.com/zh/glossary/idempotency-key/)。

## 在 BroadNet Inference 上

BroadNet 的 [API 参考文档](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-request-timeout&utm_content=body)要求一直读取流，直到出现 `data: [DONE]`。如果连接在此之前结束，要 “treat the response as incomplete, record the X-Request-ID”（译文：将响应视为不完整，记录 X-Request-ID），再判断你的应用能否安全地发起新请求。对于 500、502、503 和 504，文档建议用有上限的指数退避重试；429 表示触发了速率、并发、token 速率或消费限额。请保留 X-Request-ID 以便联系支持。[错误与重试指南](https://broadrouter.com/zh/guides/errors-and-retries/)和[长时间运行的智能体](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/)一文给出了可用的设置。

## 常见错误

-   沿用默认值，然后纳闷为什么一个挂住的调用会把 worker 卡住十分钟。
-   重试不设上限，结果糟糕的一分钟变成了一大波请求洪流。

## 常见问题

### OpenAI Python SDK 的默认超时是多少？

它的 README 写道 "By default requests time out after 10 minutes"（译文：默认情况下请求在 10 分钟后超时），超时的请求默认会以短暂的指数退避重试两次。

### 所有大模型调用都用同一个超时可以吗？

不可以。简短的分类调用和冗长的思考回答需要不同的上限。用流式输出时，针对分块间隔设置读取超时，比设一个很长的总时限更能及时发现卡顿。

### BroadNet 的流提前中断时该怎么办？

BroadNet 说，在 data: \[DONE\] 之前就结束的流要视为不完整，记录 X-Request-ID，再判断你的应用能否安全地发起新请求。

## 另请参阅

-   [指数退避（exponential backoff）](https://broadrouter.com/zh/glossary/exponential-backoff/) (术语)
-   [流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/) (术语)
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/) (术语)
-   [幂等键（idempotency key）](https://broadrouter.com/zh/glossary/idempotency-key/) (术语)
-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/) (术语)
-   [模型回退（model fallback）](https://broadrouter.com/zh/glossary/model-fallback/) (术语)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/) (指南)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/) (指南)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/) (指南)
-   [长时间运行的智能体：可靠的超时、重试与检查点](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/) (文章)
-   [大模型 API 报 429 错误怎么办：退避、抖动与并发限制](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-request-timeout&utm_content=page-cta) ·

**来源**

-   [OpenAI Python SDK README：超时与重试（2026-11-15 查阅）](https://github.com/openai/openai-python)
-   [HTTPX 文档：超时（2026-11-15 查阅）](https://www.python-httpx.org/advanced/timeouts/)
-   [MDN：504 Gateway Timeout（2026-11-15 查阅）](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/504)
-   [MDN：408 Request Timeout（2026-11-15 查阅）](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/408)
-   [BroadNet Inference API 参考：流式输出与错误（2026-11-15 查阅） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-request-timeout&utm_content=sources)
