BroadRouter

Lang laufende Agenten: Timeouts, Retries und Checkpoints, die halten

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht · Aktualisiert

Behandeln Sie jeden Modellaufruf als wegwerfbar und den Zustand des Agenten als dauerhaft. Setzen Sie pro Aufruf einen Timeout, streamen Sie, um Hänger zu erkennen, wiederholen Sie 429, 5xx und abgebrochene Streams mit begrenztem Backoff und geben Sie jedem Tool mit Nebenwirkungen einen Idempotenzschlüssel. Speichern Sie die Nachrichtenliste nach jedem Schritt, damit ein Absturz beim letzten Checkpoint weitermacht, nicht von vorn.

Ein Agent, der fünf Minuten läuft, kann Fehler ignorieren. Einer, der fünf Stunden läuft, wird einen Timeout, ein 429, einen abgebrochenen Stream und wahrscheinlich einen Neustart erleben. Die meisten Anleitungen zu lang laufenden Agenten verkaufen eine Workflow-Engine. Vielleicht brauchen Sie keine. Dieser Beitrag beschreibt die fünf Gewohnheiten, die eine einfache Agentenschleife stundenlang am Leben halten, mit Code für das OpenAI Python SDK.

Was geht kaputt, wenn ein Agent stundenlang läuft?

Fehler Wie er aussieht Gewohnheit, die ihn abfängt
Hängender oder langsamer Aufruf Minutenlang keine Antwort Timeout pro Aufruf, Streaming
Rate-Limit oder Überlastung 429, 5xx Begrenzter Retry mit Backoff
Abgebrochener Stream Verbindung endet vor [DONE] Als unvollständig behandeln, Aufruf wiederholen
Doppelte Nebenwirkung Tool läuft nach einem Retry zweimal Idempotenzschlüssel
Prozessabsturz oder Deployment Agent startet wieder bei Schritt 1 Checkpoint pro Schritt

1. Wie lange darf ein Aufruf dauern?

Laut README des OpenAI Python SDK brechen Anfragen standardmäßig nach 10 Minuten ab, und bestimmte Fehler werden zweimal wiederholt. Setzen Sie für einen Agenten beides selbst, damit sich das Verhalten nicht unbemerkt ändert:

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)

Wählen Sie den Timeout anhand von Daten. Protokollieren Sie einen Tag lang die Dauer jedes Aufrufs und setzen Sie den Timeout deutlich über den langsamsten erfolgreichen Aufruf. Große Prompts brauchen länger bis zum Start, und Reasoning-Modelle denken, bevor sie schreiben. Bei etwa 100 Tokens pro Sekunde dauern 8.000 Output-Tokens allein über eine Minute. Ergänzen Sie ein eigenes Zeitbudget pro Aufgabe, damit eine Schleife, die nicht aufhört, nicht die ganze Nacht läuft.

2. Warum in einem lang laufenden Agenten streamen?

Streaming liefert Ihnen ein Signal, während das Modell arbeitet. Ohne Streaming sehen ein langsamer Aufruf und eine tote Verbindung gleich aus, bis der Timeout greift. Mit Streaming sehen Sie Chunks ankommen und bekommen im letzten Chunk zusätzlich den Token-Verbrauch.

Die Streaming-Regeln von BroadNet: Lesen Sie bis zur wörtlichen Zeile data: [DONE]. Schließt die Verbindung vorher, ist die Antwort unvollständig. Notieren Sie die X-Request-ID und entscheiden Sie dann, ob Sie eine neue Anfrage stellen. Vollständige Streaming-Anleitung.

def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)

Diese Skizze sammelt nur Text. Wenn Sie Tool Calls streamen, sammeln Sie auch delta.tool_calls nach Index.

3. Was sollten Sie wiederholen?

Das SDK wiederholt bereits Verbindungsfehler, 408, 409, 429 und 5xx. Setzen Sie einen eigenen Retry nur für das darauf, was es nicht sieht, etwa einen unvollständigen Stream:

  1. Wiederholen: Verbindungsfehler, 429, 5xx, unvollständige Streams. Nutzen Sie exponentiellen Backoff mit Jitter und einer Obergrenze, zum Beispiel 4 Versuche.
  2. Beheben, nicht wiederholen: 400, 401, 402, 403, 413, 422. Diese scheitern jedes Mal gleich. Siehe Fehlercodes und wann ein Retry sinnvoll ist.
  3. Retries pro Aufgabe budgetieren, nicht nur pro Aufruf. Zehn Schritte mit je vier Retries sind vierzig zusätzliche Aufrufe.
  4. Umschalten, wenn die Retries aufgebraucht sind. Muss ein Lauf den Ausfall eines Anbieters überstehen, leiten Sie Verbindungsfehler, 5xx und Rate-Limit-429 an einen zweiten Anbieter weiter. LLM-API-Failover zeigt den Client-Code und einen Circuit Breaker.

Bei Pay-as-you-go ist jeder Retry eine neue Inferenz und wird erneut abgerechnet. Ein Pay-as-you-go-Schlüssel erlaubt außerdem 30 Anfragen pro Minute und 4 gleichzeitig laufende, Retry-Stürme treffen also schnell das Rate-Limit; der Rate-Limit-Rechner zeigt, wie viel Spielraum Ihr Agent hat. Der Beitrag zum Umgang mit 429 behandelt Backoff im Detail. In einem unbegrenzten Plan kosten Retries nichts extra, belegen aber, solange sie laufen, den einzigen Anfrageplatz der Session.

4. Wie machen Sie Tool Calls idempotent?

Ein Modellaufruf hat keine Nebenwirkungen. Ein Tool Call kann welche haben. Stürzt der Agent ab, nachdem send_invoice gelaufen ist, aber bevor der Schritt gespeichert wurde, sendet der neu gestartete Agent die Rechnung erneut.

Geben Sie jedem Aufruf mit Nebenwirkungen einen Idempotenzschlüssel, abgeleitet aus Aufgabe und Schritt, prüfen Sie ihn vor dem Handeln und überspringen Sie den Aufruf, wenn er bereits erfasst ist:

def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result

Viele Zahlungs- und Messaging-APIs akzeptieren einen Header für einen Idempotenzschlüssel. Reichen Sie Ihren dann durch.

5. Wie setzen Sie Checkpoints für einen Agenten?

Speichern Sie nach jedem abgeschlossenen Schritt: die Nachrichtenliste, die Schrittnummer und die Schlüssel der Nebenwirkungen. Laden Sie beim Start den neuesten Checkpoint, falls einer existiert.

def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem

Weil zuerst in eine temporäre Datei geschrieben und dann umbenannt wird, hinterlässt ein Absturz mitten im Schreiben nie einen halben Checkpoint. Speichern Sie bei sehr langen Sessions auch eine Zusammenfassung: Ersetzen Sie alte Turns durch eine kurze Zusammenfassung, damit ein fortgesetzter Agent keinen riesigen Verlauf neu lädt. So bleiben Sie innerhalb des Kontextfensters, selbst bei 1.048.576 Tokens auf DeepSeek V4.1 Flash.

Checkliste vor einem Lauf über Nacht

  1. Timeout und max_retries explizit am Client gesetzt.
  2. Streaming aktiv, mit include_usage, und unvollständige Streams werden wiederholt.
  3. Ein Retry-Budget pro Aufgabe und ein Zeitlimit.
  4. Idempotenzschlüssel für jedes Tool, das schreibt, sendet oder bezahlt.
  5. Ein Checkpoint nach jedem Schritt, atomar geschrieben.
  6. Logs mit Schrittnummer, Dauer, Tokens und X-Request-ID.

Wenn Sie mehrere Agenten nebeneinander betreiben, lesen Sie parallele Coding-Agenten mit Flatrate betreiben und was Multi-Agent-Setups kosten.

Wo BroadNet Inference ins Bild passt

BroadNet Inference nutzt Standard-Streaming für Chat Completions, liefert einen Header X-Request-ID, den Sie protokollieren können, und dokumentiert, welche Fehler wiederholt werden sollten; die Muster oben funktionieren also wie beschrieben. Für Agenten, die den ganzen Tag laufen, entfernen die unbegrenzten Pläne den Token-Zähler für DeepSeek V4.1 Flash zu $60 im Monat pro Session, womit Retries kostenlos werden. Beachten Sie, dass eine Meteor-Stunde eine Stunde nach dem Kauf endet und eine Orbit-Woche nach sieben Tagen; ein langer Job muss also innerhalb des Zeitraums fertig werden oder in eine sich verlängernde Full-Moon-Session wechseln. Die Pläne finden Sie unter inference.broadnet.ai/plans.

Häufige Fragen

Welchen Timeout sollte ich für LLM-API-Aufrufe in einem Agenten setzen?

Lang genug für den langsamsten legitimen Aufruf, kurz genug, um einen hängenden zu erkennen. Das OpenAI Python SDK nutzt standardmäßig 10 Minuten. Viele Agenten verwenden mit Streaming 2 bis 5 Minuten pro Aufruf und zusätzlich ein eigenes Zeitlimit pro Aufgabe.

Bei welchen LLM-API-Fehlern sollte ein Agent einen Retry machen?

Wiederholen Sie Verbindungsfehler, 429 und 5xx mit begrenztem exponentiellem Backoff und Jitter. Bei 400, 401, 402, 403, 413 und 422 beheben Sie die Ursache, statt zu wiederholen. Protokollieren Sie bei BroadNet zu jedem Fehler auch den Header X-Request-ID.

Kann man eine Chat Completion gefahrlos wiederholen?

Der Modellaufruf selbst hat keine Nebenwirkungen, also ja, aber er ist eine neue Inferenz und wird bei Pay-as-you-go erneut abgerechnet. Die Gefahr liegt bei den Tools. Ein wiederholter Schritt kann eine E-Mail doppelt senden, wenn das Tool keinen Idempotenzschlüssel nutzt.

Wie setze ich einen Agenten nach einem Absturz fort?

Speichern Sie Nachrichtenliste und Schrittnummer nach jedem abgeschlossenen Schritt, schreiben Sie die IDs von Nebenwirkungen, bevor Sie handeln, und laden Sie alles beim Start neu. Der Agent macht beim zuletzt gespeicherten Schritt weiter.

Brauchen lang laufende Agenten einen unbegrenzten Plan?

Nein, aber Retries und lange Kontexte summieren sich bei Pay-as-you-go. In den unbegrenzten Plänen von BroadNet hat DeepSeek V4.1 Flash keinen Token-Zähler, Retries kosten also nichts extra, wobei jede Session weiterhin eine Anfrage gleichzeitig ausführt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen