BroadRouter
Loslegen

Request-Timeout (Zeitüberschreitung)

Aktualisiert

Ein Request-Timeout ist die längste Zeit, die ein HTTP-Client auf einen Server wartet, bevor er die Anfrage aufgibt. Clients teilen ihn meist in einen Connect-Timeout für den Verbindungsaufbau und einen Read-Timeout für das Warten auf Daten. LLM-Aufrufe brauchen großzügige Read-Timeouts, weil lange Antworten Zeit kosten.

Auch genannt: Timeout, Request-Timeout, Zeitüberschreitung, Read-Timeout, Connect-Timeout, Client-Timeout, HTTP-Timeout, request timeout, read timeout, connect timeout, client timeout, HTTP timeout

Jeder Netzwerkaufruf braucht einen Punkt, an dem Sie aufhören zu warten. Bei LLM-Aufrufen ist dieser Punkt schwer zu wählen, weil eine langsame Antwort und eine tote Verbindung eine Weile gleich aussehen.

So funktioniert es

HTTP-Clients teilen das Warten in Phasen auf. HTTPX, ein verbreiteter HTTP-Client für Python, kennt vier:

Timeout Bedeutung bei HTTPX Fehler
Connect Längste Zeit für den Aufbau einer Socket-Verbindung ConnectTimeout
Read Längste Wartezeit auf einen Chunk eingehender Daten ReadTimeout
Write Längste Wartezeit, um einen Chunk des Request-Bodys zu senden WriteTimeout
Pool Längste Wartezeit auf eine Verbindung aus dem Pool PoolTimeout

Reines HTTPX bricht standardmäßig nach fünf Sekunden ohne Netzwerkaktivität ab. Das OpenAI Python SDK setzt einen eigenen Standardwert: „By default requests time out after 10 minutes“ (Übersetzung: „Standardmäßig laufen Anfragen nach 10 Minuten in einen Timeout“), wirft APITimeoutError und wiederholt eine Anfrage mit Timeout zweimal. Standardmäßig wiederholt es auch Verbindungsfehler sowie Antworten mit 408, 409, 429 und 5xx.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Auch Server haben Timeouts. MDN definiert 504 Gateway Timeout als ein Gateway oder Proxy, das „did not get a response in time from the upstream server“ (Übersetzung: „nicht rechtzeitig eine Antwort vom Upstream-Server erhalten hat“), und 408 Request Timeout als einen Server, der „to shut down this unused connection“ (Übersetzung: „diese ungenutzte Verbindung schließen“) möchte.

Warum es wichtig ist

  • Reasoning-Modelle starten langsam. Das Nachdenken passiert vor dem ersten sichtbaren Token. Ein kurzer Read-Timeout bei einem Aufruf ohne Streaming kann eine gesunde Anfrage abschneiden.
  • Streams erkennen Hänger. Bei Streaming setzt jeder Chunk den Read-Timer zurück; ein Hänger fällt also auch bei einer langen Antwort schnell auf.
  • Retries können die Kosten verdoppeln. Ein Timeout heißt nicht, dass der Server aufgehört hat. Wer eine noch laufende Anfrage wiederholt, zahlt womöglich doppelt. Nutzen Sie exponentiellen Backoff mit Obergrenze und einen Idempotency Key, wo eine API ihn unterstützt.

Bei BroadNet Inference

Laut API-Referenz von BroadNet lesen Sie einen Stream bis data: [DONE]. Endet die Verbindung vorher, sollen Sie „treat the response as incomplete, record the X-Request-ID“ (Übersetzung: „die Antwort als unvollständig behandeln und die X-Request-ID notieren“) und entscheiden, ob Ihre Anwendung sicher eine neue Anfrage stellen kann. Bei 500, 502, 503 und 504 empfiehlt sie Retries mit begrenztem exponentiellem Backoff; 429 bedeutet, dass ein Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht wurde. Bewahren Sie die X-Request-ID für den Support auf. Die Anleitung zu Fehlercodes und Retries und der Beitrag zu lang laufenden Agenten zeigen funktionierende Einstellungen.

Häufige Fehler

  • Den Standardwert lassen und sich wundern, warum ein hängender Aufruf einen Worker zehn Minuten blockiert.
  • Ohne Obergrenze wiederholen, sodass aus einer schlechten Minute eine Flut von Anfragen wird.

Häufige Fragen

Welchen Standard-Timeout hat das OpenAI Python SDK?

Das README schreibt „By default requests time out after 10 minutes“ (Übersetzung: „Standardmäßig laufen Anfragen nach 10 Minuten in einen Timeout“), und Anfragen mit Timeout werden standardmäßig zweimal mit kurzem exponentiellem Backoff wiederholt.

Sollte ich für jeden LLM-Aufruf denselben Timeout nutzen?

Nein. Ein kurzer Klassifizierungsaufruf und eine lange Reasoning-Antwort brauchen unterschiedliche Limits. Bei Streaming erkennt ein Read-Timeout auf die Pause zwischen Chunks Hänger besser als ein einziges langes Gesamtlimit.

Was tue ich, wenn ein Stream bei BroadNet zu früh endet?

Laut BroadNet behandeln Sie einen Stream, der vor data: [DONE] endet, als unvollständig, notieren die X-Request-ID und entscheiden, ob Ihre Anwendung sicher eine neue Anfrage stellen kann.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen