Tout appel réseau a besoin d’un moment où l’on cesse d’attendre. Pour les appels de LLM, ce moment est difficile à choisir, car une réponse lente et une connexion morte se ressemblent pendant un certain temps.
Comment ça marche
Les clients HTTP découpent l’attente en phases. HTTPX, un client HTTP Python répandu, en compte quatre :
| Timeout | Signification dans HTTPX | Erreur |
|---|---|---|
| Connect | Durée maximale pour établir une connexion socket | ConnectTimeout |
| Read | Attente maximale d’un bloc de données entrantes | ReadTimeout |
| Write | Attente maximale pour envoyer un bloc du corps de la requête | WriteTimeout |
| Pool | Attente maximale d’une connexion disponible dans le pool | PoolTimeout |
Par défaut, HTTPX seul expire après cinq secondes d’inactivité réseau. Le SDK Python d’OpenAI fixe sa propre valeur par défaut : « By default requests time out after 10 minutes » (traduction : « par défaut, les requêtes expirent au bout de 10 minutes »), lève APITimeoutError et relance deux fois une requête expirée. Il relance aussi par défaut les erreurs de connexion et les réponses 408, 409, 429 et 5xx.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Les serveurs ont aussi leurs timeouts. MDN définit le 504 Gateway Timeout comme une passerelle ou un proxy qui « did not get a response in time from the upstream server » (traduction : « n’a pas reçu de réponse à temps du serveur en amont »), et le 408 Request Timeout comme un serveur qui souhaite « to shut down this unused connection » (traduction : « fermer cette connexion inutilisée »).
Pourquoi c’est important
- Les modèles de raisonnement démarrent lentement. La réflexion a lieu avant le premier token visible. Un timeout de lecture court sur un appel sans streaming peut couper une requête en bonne santé.
- Les flux révèlent les blocages. En streaming, chaque chunk remet à zéro le minuteur de lecture : un blocage se voit vite, même sur une longue réponse.
- Les retries peuvent doubler le coût. Un timeout ne signifie pas que le serveur s’est arrêté. Relancer une requête encore en cours peut être facturé deux fois. Utilisez un backoff exponentiel plafonné, et une clé d’idempotence quand l’API en propose une.
Sur BroadNet Inference
La référence de l’API de BroadNet demande de lire un flux jusqu’à data: [DONE]. Si la connexion se termine avant, il faut « treat the response as incomplete, record the X-Request-ID » (traduction : « considérer la réponse comme incomplète et noter le X-Request-ID »), puis décider si votre application peut sans risque envoyer une nouvelle requête. Pour les erreurs 500, 502, 503 et 504, elle recommande de relancer avec un backoff exponentiel borné ; un 429 signifie qu’une limite de débit, de concurrence, de tokens par minute ou de dépense a été atteinte. Conservez le X-Request-ID pour le support. Le guide des erreurs et des retries et l’article sur les agents de longue durée montrent des réglages qui fonctionnent.
Erreurs fréquentes
- Garder la valeur par défaut et se demander pourquoi un appel bloqué immobilise un worker pendant dix minutes.
- Relancer sans plafond, si bien qu’une mauvaise minute se transforme en déluge de requêtes.