BroadRouter
Начать

Тайм-аут запроса (request timeout)

Обновлено

Тайм-аут запроса — это наибольшее время, которое HTTP-клиент ждёт сервер, прежде чем отказаться от запроса. Обычно клиенты делят его на тайм-аут подключения, для установки соединения, и тайм-аут чтения, для ожидания данных. Вызовам LLM нужны щедрые тайм-ауты чтения: длинные ответы требуют времени.

Также называют: таймаут запроса, тайм-аут чтения, тайм-аут подключения, тайм-аут HTTP, read timeout, connect timeout, client timeout, HTTP timeout, request timeout

Любому сетевому вызову нужна точка, после которой вы перестаёте ждать. Для вызовов LLM её трудно выбрать: медленный ответ и мёртвое соединение какое-то время выглядят одинаково.

Как это работает

HTTP-клиенты делят ожидание на фазы. В HTTPX, популярном HTTP-клиенте для Python, их четыре:

Тайм-аут Смысл в HTTPX Ошибка
Connect Наибольшее время на установку сокетного соединения ConnectTimeout
Read Наибольшее ожидание очередной порции входящих данных ReadTimeout
Write Наибольшее ожидание отправки порции тела запроса WriteTimeout
Pool Наибольшее ожидание соединения из пула PoolTimeout

Сам по себе HTTPX по умолчанию прерывает запрос после пяти секунд сетевой неактивности. OpenAI Python SDK задаёт своё значение по умолчанию: “By default requests time out after 10 minutes” (перевод: «по умолчанию тайм-аут запросов — 10 минут»), выбрасывает APITimeoutError и дважды повторяет запрос, завершившийся по тайм-ауту. Также по умолчанию он повторяет запросы при ошибках соединения и ответах 408, 409, 429 и 5xx.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Тайм-ауты есть и у серверов. MDN определяет 504 Gateway Timeout как ситуацию, когда шлюз или прокси “did not get a response in time from the upstream server” (перевод: «не получил вовремя ответ от вышестоящего сервера»), а 408 Request Timeout — как желание сервера “to shut down this unused connection” (перевод: «закрыть это неиспользуемое соединение»).

Почему это важно

  • Модели с рассуждениями медленно начинают. Рассуждения идут до первого видимого токена. Короткий тайм-аут чтения при вызове без стриминга может оборвать вполне здоровый запрос.
  • Потоки выявляют зависания. При стриминге каждый чанк сбрасывает таймер чтения, поэтому зависание быстро заметно даже на длинном ответе.
  • Повторы могут удвоить стоимость. Тайм-аут не означает, что сервер остановился. Повтор запроса, который ещё выполняется, может быть оплачен дважды. Используйте экспоненциальную задержку с потолком и ключ идемпотентности, если API его поддерживает.

В BroadNet Inference

Справочник API BroadNet советует читать поток до data: [DONE]. Если соединение закончилось раньше, нужно “treat the response as incomplete, record the X-Request-ID” (перевод: «считать ответ неполным, сохранить X-Request-ID») и решить, может ли ваше приложение безопасно отправить новый запрос. Для 500, 502, 503 и 504 рекомендуется повторять запрос с ограниченной экспоненциальной задержкой; 429 означает, что достигнут лимит частоты запросов, параллельности, скорости токенов или расходов. Сохраняйте X-Request-ID для поддержки. Рабочие настройки показаны в руководстве по ошибкам и повторам и статье о долгоживущих агентах.

Частые ошибки

  • Оставлять значение по умолчанию и удивляться, почему зависший вызов блокирует воркер на десять минут.
  • Повторять без ограничения, так что одна неудачная минута превращается в лавину запросов.

Вопросы и ответы

Какой тайм-аут по умолчанию в OpenAI Python SDK?

В README сказано: "By default requests time out after 10 minutes" (перевод: «по умолчанию тайм-аут запросов — 10 минут»), а запросы, завершившиеся по тайм-ауту, по умолчанию повторяются дважды с короткой экспоненциальной задержкой.

Нужен ли один тайм-аут для всех вызовов LLM?

Нет. Короткому вызову классификации и длинному ответу с рассуждениями нужны разные лимиты. При стриминге тайм-аут чтения на паузу между чанками ловит зависания лучше, чем один длинный общий лимит.

Что делать, если поток BroadNet оборвался раньше времени?

BroadNet советует считать поток, закончившийся до data: [DONE], неполным, сохранить X-Request-ID и решить, может ли ваше приложение безопасно отправить новый запрос.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity