Jeder Netzwerkaufruf braucht einen Punkt, an dem Sie aufhören zu warten. Bei LLM-Aufrufen ist dieser Punkt schwer zu wählen, weil eine langsame Antwort und eine tote Verbindung eine Weile gleich aussehen.
So funktioniert es
HTTP-Clients teilen das Warten in Phasen auf. HTTPX, ein verbreiteter HTTP-Client für Python, kennt vier:
| Timeout | Bedeutung bei HTTPX | Fehler |
|---|---|---|
| Connect | Längste Zeit für den Aufbau einer Socket-Verbindung | ConnectTimeout |
| Read | Längste Wartezeit auf einen Chunk eingehender Daten | ReadTimeout |
| Write | Längste Wartezeit, um einen Chunk des Request-Bodys zu senden | WriteTimeout |
| Pool | Längste Wartezeit auf eine Verbindung aus dem Pool | PoolTimeout |
Reines HTTPX bricht standardmäßig nach fünf Sekunden ohne Netzwerkaktivität ab. Das OpenAI Python SDK setzt einen eigenen Standardwert: „By default requests time out after 10 minutes“ (Übersetzung: „Standardmäßig laufen Anfragen nach 10 Minuten in einen Timeout“), wirft APITimeoutError und wiederholt eine Anfrage mit Timeout zweimal. Standardmäßig wiederholt es auch Verbindungsfehler sowie Antworten mit 408, 409, 429 und 5xx.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Auch Server haben Timeouts. MDN definiert 504 Gateway Timeout als ein Gateway oder Proxy, das „did not get a response in time from the upstream server“ (Übersetzung: „nicht rechtzeitig eine Antwort vom Upstream-Server erhalten hat“), und 408 Request Timeout als einen Server, der „to shut down this unused connection“ (Übersetzung: „diese ungenutzte Verbindung schließen“) möchte.
Warum es wichtig ist
- Reasoning-Modelle starten langsam. Das Nachdenken passiert vor dem ersten sichtbaren Token. Ein kurzer Read-Timeout bei einem Aufruf ohne Streaming kann eine gesunde Anfrage abschneiden.
- Streams erkennen Hänger. Bei Streaming setzt jeder Chunk den Read-Timer zurück; ein Hänger fällt also auch bei einer langen Antwort schnell auf.
- Retries können die Kosten verdoppeln. Ein Timeout heißt nicht, dass der Server aufgehört hat. Wer eine noch laufende Anfrage wiederholt, zahlt womöglich doppelt. Nutzen Sie exponentiellen Backoff mit Obergrenze und einen Idempotency Key, wo eine API ihn unterstützt.
Bei BroadNet Inference
Laut API-Referenz von BroadNet lesen Sie einen Stream bis data: [DONE]. Endet die Verbindung vorher, sollen Sie „treat the response as incomplete, record the X-Request-ID“ (Übersetzung: „die Antwort als unvollständig behandeln und die X-Request-ID notieren“) und entscheiden, ob Ihre Anwendung sicher eine neue Anfrage stellen kann. Bei 500, 502, 503 und 504 empfiehlt sie Retries mit begrenztem exponentiellem Backoff; 429 bedeutet, dass ein Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht wurde. Bewahren Sie die X-Request-ID für den Support auf. Die Anleitung zu Fehlercodes und Retries und der Beitrag zu lang laufenden Agenten zeigen funktionierende Einstellungen.
Häufige Fehler
- Den Standardwert lassen und sich wundern, warum ein hängender Aufruf einen Worker zehn Minuten blockiert.
- Ohne Obergrenze wiederholen, sodass aus einer schlechten Minute eine Flut von Anfragen wird.