Ein Agent, der fünf Minuten läuft, kann Fehler ignorieren. Einer, der fünf Stunden läuft, wird einen Timeout, ein 429, einen abgebrochenen Stream und wahrscheinlich einen Neustart erleben. Die meisten Anleitungen zu lang laufenden Agenten verkaufen eine Workflow-Engine. Vielleicht brauchen Sie keine. Dieser Beitrag beschreibt die fünf Gewohnheiten, die eine einfache Agentenschleife stundenlang am Leben halten, mit Code für das OpenAI Python SDK.
Was geht kaputt, wenn ein Agent stundenlang läuft?
| Fehler | Wie er aussieht | Gewohnheit, die ihn abfängt |
|---|---|---|
| Hängender oder langsamer Aufruf | Minutenlang keine Antwort | Timeout pro Aufruf, Streaming |
| Rate-Limit oder Überlastung | 429, 5xx | Begrenzter Retry mit Backoff |
| Abgebrochener Stream | Verbindung endet vor [DONE] |
Als unvollständig behandeln, Aufruf wiederholen |
| Doppelte Nebenwirkung | Tool läuft nach einem Retry zweimal | Idempotenzschlüssel |
| Prozessabsturz oder Deployment | Agent startet wieder bei Schritt 1 | Checkpoint pro Schritt |
1. Wie lange darf ein Aufruf dauern?
Laut README des OpenAI Python SDK brechen Anfragen standardmäßig nach 10 Minuten ab, und bestimmte Fehler werden zweimal wiederholt. Setzen Sie für einen Agenten beides selbst, damit sich das Verhalten nicht unbemerkt ändert:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Wählen Sie den Timeout anhand von Daten. Protokollieren Sie einen Tag lang die Dauer jedes Aufrufs und setzen Sie den Timeout deutlich über den langsamsten erfolgreichen Aufruf. Große Prompts brauchen länger bis zum Start, und Reasoning-Modelle denken, bevor sie schreiben. Bei etwa 100 Tokens pro Sekunde dauern 8.000 Output-Tokens allein über eine Minute. Ergänzen Sie ein eigenes Zeitbudget pro Aufgabe, damit eine Schleife, die nicht aufhört, nicht die ganze Nacht läuft.
2. Warum in einem lang laufenden Agenten streamen?
Streaming liefert Ihnen ein Signal, während das Modell arbeitet. Ohne Streaming sehen ein langsamer Aufruf und eine tote Verbindung gleich aus, bis der Timeout greift. Mit Streaming sehen Sie Chunks ankommen und bekommen im letzten Chunk zusätzlich den Token-Verbrauch.
Die Streaming-Regeln von BroadNet: Lesen Sie bis zur wörtlichen Zeile data: [DONE]. Schließt die Verbindung vorher, ist die Antwort unvollständig. Notieren Sie die X-Request-ID und entscheiden Sie dann, ob Sie eine neue Anfrage stellen. Vollständige Streaming-Anleitung.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Diese Skizze sammelt nur Text. Wenn Sie Tool Calls streamen, sammeln Sie auch delta.tool_calls nach Index.
3. Was sollten Sie wiederholen?
Das SDK wiederholt bereits Verbindungsfehler, 408, 409, 429 und 5xx. Setzen Sie einen eigenen Retry nur für das darauf, was es nicht sieht, etwa einen unvollständigen Stream:
- Wiederholen: Verbindungsfehler, 429, 5xx, unvollständige Streams. Nutzen Sie exponentiellen Backoff mit Jitter und einer Obergrenze, zum Beispiel 4 Versuche.
- Beheben, nicht wiederholen: 400, 401, 402, 403, 413, 422. Diese scheitern jedes Mal gleich. Siehe Fehlercodes und wann ein Retry sinnvoll ist.
- Retries pro Aufgabe budgetieren, nicht nur pro Aufruf. Zehn Schritte mit je vier Retries sind vierzig zusätzliche Aufrufe.
- Umschalten, wenn die Retries aufgebraucht sind. Muss ein Lauf den Ausfall eines Anbieters überstehen, leiten Sie Verbindungsfehler, 5xx und Rate-Limit-429 an einen zweiten Anbieter weiter. LLM-API-Failover zeigt den Client-Code und einen Circuit Breaker.
Bei Pay-as-you-go ist jeder Retry eine neue Inferenz und wird erneut abgerechnet. Ein Pay-as-you-go-Schlüssel erlaubt außerdem 30 Anfragen pro Minute und 4 gleichzeitig laufende, Retry-Stürme treffen also schnell das Rate-Limit; der Rate-Limit-Rechner zeigt, wie viel Spielraum Ihr Agent hat. Der Beitrag zum Umgang mit 429 behandelt Backoff im Detail. In einem unbegrenzten Plan kosten Retries nichts extra, belegen aber, solange sie laufen, den einzigen Anfrageplatz der Session.
4. Wie machen Sie Tool Calls idempotent?
Ein Modellaufruf hat keine Nebenwirkungen. Ein Tool Call kann welche haben. Stürzt der Agent ab, nachdem send_invoice gelaufen ist, aber bevor der Schritt gespeichert wurde, sendet der neu gestartete Agent die Rechnung erneut.
Geben Sie jedem Aufruf mit Nebenwirkungen einen Idempotenzschlüssel, abgeleitet aus Aufgabe und Schritt, prüfen Sie ihn vor dem Handeln und überspringen Sie den Aufruf, wenn er bereits erfasst ist:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Viele Zahlungs- und Messaging-APIs akzeptieren einen Header für einen Idempotenzschlüssel. Reichen Sie Ihren dann durch.
5. Wie setzen Sie Checkpoints für einen Agenten?
Speichern Sie nach jedem abgeschlossenen Schritt: die Nachrichtenliste, die Schrittnummer und die Schlüssel der Nebenwirkungen. Laden Sie beim Start den neuesten Checkpoint, falls einer existiert.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Weil zuerst in eine temporäre Datei geschrieben und dann umbenannt wird, hinterlässt ein Absturz mitten im Schreiben nie einen halben Checkpoint. Speichern Sie bei sehr langen Sessions auch eine Zusammenfassung: Ersetzen Sie alte Turns durch eine kurze Zusammenfassung, damit ein fortgesetzter Agent keinen riesigen Verlauf neu lädt. So bleiben Sie innerhalb des Kontextfensters, selbst bei 1.048.576 Tokens auf DeepSeek V4.1 Flash.
Checkliste vor einem Lauf über Nacht
- Timeout und
max_retriesexplizit am Client gesetzt. - Streaming aktiv, mit
include_usage, und unvollständige Streams werden wiederholt. - Ein Retry-Budget pro Aufgabe und ein Zeitlimit.
- Idempotenzschlüssel für jedes Tool, das schreibt, sendet oder bezahlt.
- Ein Checkpoint nach jedem Schritt, atomar geschrieben.
- Logs mit Schrittnummer, Dauer, Tokens und
X-Request-ID.
Wenn Sie mehrere Agenten nebeneinander betreiben, lesen Sie parallele Coding-Agenten mit Flatrate betreiben und was Multi-Agent-Setups kosten.
Wo BroadNet Inference ins Bild passt
BroadNet Inference nutzt Standard-Streaming für Chat Completions, liefert einen Header X-Request-ID, den Sie protokollieren können, und dokumentiert, welche Fehler wiederholt werden sollten; die Muster oben funktionieren also wie beschrieben. Für Agenten, die den ganzen Tag laufen, entfernen die unbegrenzten Pläne den Token-Zähler für DeepSeek V4.1 Flash zu $60 im Monat pro Session, womit Retries kostenlos werden. Beachten Sie, dass eine Meteor-Stunde eine Stunde nach dem Kauf endet und eine Orbit-Woche nach sieben Tagen; ein langer Job muss also innerhalb des Zeitraums fertig werden oder in eine sich verlängernde Full-Moon-Session wechseln. Die Pläne finden Sie unter inference.broadnet.ai/plans.
