每个网络调用都需要一个“不再等下去”的点。对大模型调用来说,这个点很难定,因为在一段时间内,慢吞吞的回答和已经断掉的连接看起来一模一样。
工作原理
HTTP 客户端把等待分成几个阶段。常用的 Python HTTP 客户端 HTTPX 有四种:
| 超时 | HTTPX 中的含义 | 错误 |
|---|---|---|
| Connect(连接) | 建立 socket 连接的最长时间 | ConnectTimeout |
| Read(读取) | 等待一段传入数据的最长时间 | ReadTimeout |
| Write(写入) | 发送一段请求体的最长等待时间 | WriteTimeout |
| Pool(连接池) | 从连接池获取连接的最长等待时间 | PoolTimeout |
原生 HTTPX 默认在网络无活动五秒后超时。OpenAI Python SDK 有自己的默认值:“By default requests time out after 10 minutes”(译文:默认情况下请求在 10 分钟后超时),抛出 APITimeoutError,并把超时的请求重试两次。它默认还会重试连接错误,以及 408、409、429 和 5xx 响应。
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
服务器也有超时。MDN 把 504 Gateway Timeout 定义为网关或代理 “did not get a response in time from the upstream server”(译文:没有及时从上游服务器得到响应),把 408 Request Timeout 定义为服务器想要 “to shut down this unused connection”(译文:关闭这个未使用的连接)。
为什么重要
- 推理模型起步慢。 思考发生在第一个可见 token 之前。在非流式调用上设置很短的读取超时,可能会切断一个本来正常的请求。
- 流能发现卡顿。 使用流式输出时,每个分块都会重置读取计时器,所以即使回答很长,卡顿也能很快暴露出来。
- 重试可能让费用翻倍。 超时并不代表服务器停下了。重试一个仍在运行的请求,可能会被计费两次。请使用带上限的指数退避,并在 API 支持时使用幂等键。
在 BroadNet Inference 上
BroadNet 的 API 参考文档要求一直读取流,直到出现 data: [DONE]。如果连接在此之前结束,要 “treat the response as incomplete, record the X-Request-ID”(译文:将响应视为不完整,记录 X-Request-ID),再判断你的应用能否安全地发起新请求。对于 500、502、503 和 504,文档建议用有上限的指数退避重试;429 表示触发了速率、并发、token 速率或消费限额。请保留 X-Request-ID 以便联系支持。错误与重试指南和长时间运行的智能体一文给出了可用的设置。
常见错误
- 沿用默认值,然后纳闷为什么一个挂住的调用会把 worker 卡住十分钟。
- 重试不设上限,结果糟糕的一分钟变成了一大波请求洪流。