Любому сетевому вызову нужна точка, после которой вы перестаёте ждать. Для вызовов LLM её трудно выбрать: медленный ответ и мёртвое соединение какое-то время выглядят одинаково.
Как это работает
HTTP-клиенты делят ожидание на фазы. В HTTPX, популярном HTTP-клиенте для Python, их четыре:
| Тайм-аут | Смысл в HTTPX | Ошибка |
|---|---|---|
| Connect | Наибольшее время на установку сокетного соединения | ConnectTimeout |
| Read | Наибольшее ожидание очередной порции входящих данных | ReadTimeout |
| Write | Наибольшее ожидание отправки порции тела запроса | WriteTimeout |
| Pool | Наибольшее ожидание соединения из пула | PoolTimeout |
Сам по себе HTTPX по умолчанию прерывает запрос после пяти секунд сетевой неактивности. OpenAI Python SDK задаёт своё значение по умолчанию: “By default requests time out after 10 minutes” (перевод: «по умолчанию тайм-аут запросов — 10 минут»), выбрасывает APITimeoutError и дважды повторяет запрос, завершившийся по тайм-ауту. Также по умолчанию он повторяет запросы при ошибках соединения и ответах 408, 409, 429 и 5xx.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Тайм-ауты есть и у серверов. MDN определяет 504 Gateway Timeout как ситуацию, когда шлюз или прокси “did not get a response in time from the upstream server” (перевод: «не получил вовремя ответ от вышестоящего сервера»), а 408 Request Timeout — как желание сервера “to shut down this unused connection” (перевод: «закрыть это неиспользуемое соединение»).
Почему это важно
- Модели с рассуждениями медленно начинают. Рассуждения идут до первого видимого токена. Короткий тайм-аут чтения при вызове без стриминга может оборвать вполне здоровый запрос.
- Потоки выявляют зависания. При стриминге каждый чанк сбрасывает таймер чтения, поэтому зависание быстро заметно даже на длинном ответе.
- Повторы могут удвоить стоимость. Тайм-аут не означает, что сервер остановился. Повтор запроса, который ещё выполняется, может быть оплачен дважды. Используйте экспоненциальную задержку с потолком и ключ идемпотентности, если API его поддерживает.
В BroadNet Inference
Справочник API BroadNet советует читать поток до data: [DONE]. Если соединение закончилось раньше, нужно “treat the response as incomplete, record the X-Request-ID” (перевод: «считать ответ неполным, сохранить X-Request-ID») и решить, может ли ваше приложение безопасно отправить новый запрос. Для 500, 502, 503 и 504 рекомендуется повторять запрос с ограниченной экспоненциальной задержкой; 429 означает, что достигнут лимит частоты запросов, параллельности, скорости токенов или расходов. Сохраняйте X-Request-ID для поддержки. Рабочие настройки показаны в руководстве по ошибкам и повторам и статье о долгоживущих агентах.
Частые ошибки
- Оставлять значение по умолчанию и удивляться, почему зависший вызов блокирует воркер на десять минут.
- Повторять без ограничения, так что одна неудачная минута превращается в лавину запросов.