BroadRouter
Commencer

Timeout de requête (délai d’expiration)

Mis à jour

Un timeout de requête est la durée maximale pendant laquelle un client HTTP attend un serveur avant d’abandonner la requête. Les clients le divisent souvent en un timeout de connexion, pour ouvrir la connexion, et un timeout de lecture, pour attendre les données. Les appels de LLM exigent des timeouts de lecture généreux, car les longues réponses prennent du temps.

Aussi appelé : timeout, timeout de requête, délai d’expiration, délai d’attente, timeout de lecture, timeout de connexion, request timeout, read timeout, connect timeout, client timeout, HTTP timeout

Tout appel réseau a besoin d’un moment où l’on cesse d’attendre. Pour les appels de LLM, ce moment est difficile à choisir, car une réponse lente et une connexion morte se ressemblent pendant un certain temps.

Comment ça marche

Les clients HTTP découpent l’attente en phases. HTTPX, un client HTTP Python répandu, en compte quatre :

Timeout Signification dans HTTPX Erreur
Connect Durée maximale pour établir une connexion socket ConnectTimeout
Read Attente maximale d’un bloc de données entrantes ReadTimeout
Write Attente maximale pour envoyer un bloc du corps de la requête WriteTimeout
Pool Attente maximale d’une connexion disponible dans le pool PoolTimeout

Par défaut, HTTPX seul expire après cinq secondes d’inactivité réseau. Le SDK Python d’OpenAI fixe sa propre valeur par défaut : « By default requests time out after 10 minutes » (traduction : « par défaut, les requêtes expirent au bout de 10 minutes »), lève APITimeoutError et relance deux fois une requête expirée. Il relance aussi par défaut les erreurs de connexion et les réponses 408, 409, 429 et 5xx.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Les serveurs ont aussi leurs timeouts. MDN définit le 504 Gateway Timeout comme une passerelle ou un proxy qui « did not get a response in time from the upstream server » (traduction : « n’a pas reçu de réponse à temps du serveur en amont »), et le 408 Request Timeout comme un serveur qui souhaite « to shut down this unused connection » (traduction : « fermer cette connexion inutilisée »).

Pourquoi c’est important

  • Les modèles de raisonnement démarrent lentement. La réflexion a lieu avant le premier token visible. Un timeout de lecture court sur un appel sans streaming peut couper une requête en bonne santé.
  • Les flux révèlent les blocages. En streaming, chaque chunk remet à zéro le minuteur de lecture : un blocage se voit vite, même sur une longue réponse.
  • Les retries peuvent doubler le coût. Un timeout ne signifie pas que le serveur s’est arrêté. Relancer une requête encore en cours peut être facturé deux fois. Utilisez un backoff exponentiel plafonné, et une clé d’idempotence quand l’API en propose une.

Sur BroadNet Inference

La référence de l’API de BroadNet demande de lire un flux jusqu’à data: [DONE]. Si la connexion se termine avant, il faut « treat the response as incomplete, record the X-Request-ID » (traduction : « considérer la réponse comme incomplète et noter le X-Request-ID »), puis décider si votre application peut sans risque envoyer une nouvelle requête. Pour les erreurs 500, 502, 503 et 504, elle recommande de relancer avec un backoff exponentiel borné ; un 429 signifie qu’une limite de débit, de concurrence, de tokens par minute ou de dépense a été atteinte. Conservez le X-Request-ID pour le support. Le guide des erreurs et des retries et l’article sur les agents de longue durée montrent des réglages qui fonctionnent.

Erreurs fréquentes

  • Garder la valeur par défaut et se demander pourquoi un appel bloqué immobilise un worker pendant dix minutes.
  • Relancer sans plafond, si bien qu’une mauvaise minute se transforme en déluge de requêtes.

Questions fréquentes

Quel est le timeout par défaut du SDK Python d’OpenAI ?

Son README indique « By default requests time out after 10 minutes » (traduction : « par défaut, les requêtes expirent au bout de 10 minutes »), et les requêtes expirées sont relancées deux fois par défaut avec un court backoff exponentiel.

Faut-il un seul timeout pour tous les appels de LLM ?

Non. Un court appel de classification et une longue réponse de raisonnement demandent des limites différentes. En streaming, un timeout de lecture sur l’intervalle entre deux chunks détecte mieux les blocages qu’une seule longue limite totale.

Que faire quand un flux BroadNet s’arrête trop tôt ?

BroadNet indique de considérer comme incomplet un flux qui se termine avant data: [DONE], de noter le X-Request-ID et de décider si votre application peut sans risque envoyer une nouvelle requête.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity