BroadRouter
开始使用

请求超时(request timeout)

更新于

请求超时(request timeout)是 HTTP 客户端在放弃请求之前等待服务器的最长时间。客户端通常把它拆成建立连接的连接超时和等待数据的读取超时。大模型调用需要宽松的读取超时,因为长回答本来就要花时间。

又称: 超时时间、读取超时、连接超时、客户端超时、HTTP 超时、read timeout、connect timeout、client timeout、HTTP timeout

每个网络调用都需要一个“不再等下去”的点。对大模型调用来说,这个点很难定,因为在一段时间内,慢吞吞的回答和已经断掉的连接看起来一模一样。

工作原理

HTTP 客户端把等待分成几个阶段。常用的 Python HTTP 客户端 HTTPX 有四种:

超时 HTTPX 中的含义 错误
Connect(连接) 建立 socket 连接的最长时间 ConnectTimeout
Read(读取) 等待一段传入数据的最长时间 ReadTimeout
Write(写入) 发送一段请求体的最长等待时间 WriteTimeout
Pool(连接池) 从连接池获取连接的最长等待时间 PoolTimeout

原生 HTTPX 默认在网络无活动五秒后超时。OpenAI Python SDK 有自己的默认值:“By default requests time out after 10 minutes”(译文:默认情况下请求在 10 分钟后超时),抛出 APITimeoutError,并把超时的请求重试两次。它默认还会重试连接错误,以及 408、409、429 和 5xx 响应。

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

服务器也有超时。MDN 把 504 Gateway Timeout 定义为网关或代理 “did not get a response in time from the upstream server”(译文:没有及时从上游服务器得到响应),把 408 Request Timeout 定义为服务器想要 “to shut down this unused connection”(译文:关闭这个未使用的连接)。

为什么重要

  • 推理模型起步慢。 思考发生在第一个可见 token 之前。在非流式调用上设置很短的读取超时,可能会切断一个本来正常的请求。
  • 流能发现卡顿。 使用流式输出时,每个分块都会重置读取计时器,所以即使回答很长,卡顿也能很快暴露出来。
  • 重试可能让费用翻倍。 超时并不代表服务器停下了。重试一个仍在运行的请求,可能会被计费两次。请使用带上限的指数退避,并在 API 支持时使用幂等键。

在 BroadNet Inference 上

BroadNet 的 API 参考文档要求一直读取流,直到出现 data: [DONE]。如果连接在此之前结束,要 “treat the response as incomplete, record the X-Request-ID”(译文:将响应视为不完整,记录 X-Request-ID),再判断你的应用能否安全地发起新请求。对于 500、502、503 和 504,文档建议用有上限的指数退避重试;429 表示触发了速率、并发、token 速率或消费限额。请保留 X-Request-ID 以便联系支持。错误与重试指南和长时间运行的智能体一文给出了可用的设置。

常见错误

  • 沿用默认值,然后纳闷为什么一个挂住的调用会把 worker 卡住十分钟。
  • 重试不设上限,结果糟糕的一分钟变成了一大波请求洪流。

常见问题

OpenAI Python SDK 的默认超时是多少?

它的 README 写道 "By default requests time out after 10 minutes"(译文:默认情况下请求在 10 分钟后超时),超时的请求默认会以短暂的指数退避重试两次。

所有大模型调用都用同一个超时可以吗?

不可以。简短的分类调用和冗长的思考回答需要不同的上限。用流式输出时,针对分块间隔设置读取超时,比设一个很长的总时限更能及时发现卡顿。

BroadNet 的流提前中断时该怎么办?

BroadNet 说,在 data: [DONE] 之前就结束的流要视为不完整,记录 X-Request-ID,再判断你的应用能否安全地发起新请求。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity