---
title: "Lang laufende KI-Agenten: Timeouts, Retries, Checkpoints"
description: "LLM-Agenten stundenlang am Laufen halten: Timeout pro Aufruf, Streaming gegen Hänger, sichere Retries, idempotente Tool-Aktionen, Checkpoint nach jedem Schritt."
url: https://broadrouter.com/de/blog/long-running-agents-timeouts-retries/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (aktualisiert am 2026-11-16).

# Lang laufende Agenten: Timeouts, Retries und Checkpoints, die halten

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht 2026-11-14 · Aktualisiert 2026-11-16

Behandeln Sie jeden Modellaufruf als wegwerfbar und den Zustand des Agenten als dauerhaft. Setzen Sie pro Aufruf einen Timeout, streamen Sie, um Hänger zu erkennen, wiederholen Sie 429, 5xx und abgebrochene Streams mit begrenztem Backoff und geben Sie jedem Tool mit Nebenwirkungen einen Idempotenzschlüssel. Speichern Sie die Nachrichtenliste nach jedem Schritt, damit ein Absturz beim letzten Checkpoint weitermacht, nicht von vorn.

## Das Wichtigste in Kürze

-   Das OpenAI Python SDK bricht standardmäßig nach 10 Minuten ab und wiederholt zweimal. Setzen Sie beides für Agenten explizit.
-   Ein Stream, der vor data \[DONE\] endet, ist eine unvollständige Antwort. Ein Retry ist eine neue Inferenz und wird bei Pay-as-you-go erneut abgerechnet.
-   Modellaufrufe lassen sich gefahrlos wiederholen. Nebenwirkungen von Tools nicht, es sei denn, sie tragen einen Idempotenzschlüssel.
-   Setzen Sie nach jedem abgeschlossenen Schritt einen Checkpoint: Nachrichtenliste, Schrittnummer und die IDs erledigter Nebenwirkungen.
-   In einer Plan-Session kosten Retries nichts extra, belegen aber, solange sie laufen, den einen Anfrageplatz.

**Auf dieser Seite**

1.  Was geht kaputt, wenn ein Agent stundenlang läuft?
2.  1\. Wie lange darf ein Aufruf dauern?
3.  2\. Warum in einem lang laufenden Agenten streamen?
4.  3\. Was sollten Sie wiederholen?
5.  4\. Wie machen Sie Tool Calls idempotent?
6.  5\. Wie setzen Sie Checkpoints für einen Agenten?
7.  Checkliste vor einem Lauf über Nacht
8.  Wo BroadNet Inference ins Bild passt

Ein Agent, der fünf Minuten läuft, kann Fehler ignorieren. Einer, der fünf Stunden läuft, wird einen Timeout, ein 429, einen abgebrochenen Stream und wahrscheinlich einen Neustart erleben. Die meisten Anleitungen zu lang laufenden Agenten verkaufen eine Workflow-Engine. Vielleicht brauchen Sie keine. Dieser Beitrag beschreibt die fünf Gewohnheiten, die eine einfache Agentenschleife stundenlang am Leben halten, mit Code für das OpenAI Python SDK.

## Was geht kaputt, wenn ein Agent stundenlang läuft?

| Fehler | Wie er aussieht | Gewohnheit, die ihn abfängt |
| --- | --- | --- |
| Hängender oder langsamer Aufruf | Minutenlang keine Antwort | Timeout pro Aufruf, Streaming |
| Rate-Limit oder Überlastung | 429, 5xx | Begrenzter Retry mit Backoff |
| Abgebrochener Stream | Verbindung endet vor `[DONE]` | Als unvollständig behandeln, Aufruf wiederholen |
| Doppelte Nebenwirkung | Tool läuft nach einem Retry zweimal | Idempotenzschlüssel |
| Prozessabsturz oder Deployment | Agent startet wieder bei Schritt 1 | Checkpoint pro Schritt |

## 1\. Wie lange darf ein Aufruf dauern?

Laut README des OpenAI Python SDK brechen Anfragen standardmäßig nach 10 Minuten ab, und bestimmte Fehler werden zweimal wiederholt. Setzen Sie für einen Agenten beides selbst, damit sich das Verhalten nicht unbemerkt ändert:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Wählen Sie den Timeout anhand von Daten. Protokollieren Sie einen Tag lang die Dauer jedes Aufrufs und setzen Sie den Timeout deutlich über den langsamsten erfolgreichen Aufruf. Große Prompts brauchen länger bis zum Start, und [Reasoning-Modelle](https://broadrouter.com/de/glossary/reasoning-tokens/) denken, bevor sie schreiben. Bei etwa 100 Tokens pro Sekunde dauern 8.000 Output-Tokens allein über eine Minute. Ergänzen Sie ein eigenes Zeitbudget pro **Aufgabe**, damit eine Schleife, die nicht aufhört, nicht die ganze Nacht läuft.

## 2\. Warum in einem lang laufenden Agenten streamen?

[Streaming](https://broadrouter.com/de/glossary/streaming/) liefert Ihnen ein Signal, während das Modell arbeitet. Ohne Streaming sehen ein langsamer Aufruf und eine tote Verbindung gleich aus, bis der Timeout greift. Mit Streaming sehen Sie Chunks ankommen und bekommen im letzten Chunk zusätzlich den Token-Verbrauch.

Die Streaming-Regeln von BroadNet: Lesen Sie bis zur wörtlichen Zeile `data: [DONE]`. Schließt die Verbindung vorher, ist die Antwort unvollständig. Notieren Sie die `X-Request-ID` und entscheiden Sie dann, ob Sie eine neue Anfrage stellen. [Vollständige Streaming-Anleitung](https://broadrouter.com/de/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Diese Skizze sammelt nur Text. Wenn Sie Tool Calls streamen, sammeln Sie auch `delta.tool_calls` nach Index.

## 3\. Was sollten Sie wiederholen?

Das SDK wiederholt bereits Verbindungsfehler, 408, 409, 429 und 5xx. Setzen Sie einen eigenen Retry nur für das darauf, was es nicht sieht, etwa einen unvollständigen Stream:

1.  **Wiederholen:** Verbindungsfehler, 429, 5xx, unvollständige Streams. Nutzen Sie [exponentiellen Backoff](https://broadrouter.com/de/glossary/exponential-backoff/) mit Jitter und einer Obergrenze, zum Beispiel 4 Versuche.
2.  **Beheben, nicht wiederholen:** 400, 401, 402, 403, 413, 422. Diese scheitern jedes Mal gleich. Siehe [Fehlercodes und wann ein Retry sinnvoll ist](https://broadrouter.com/de/guides/errors-and-retries/).
3.  **Retries pro Aufgabe budgetieren**, nicht nur pro Aufruf. Zehn Schritte mit je vier Retries sind vierzig zusätzliche Aufrufe.
4.  **Umschalten, wenn die Retries aufgebraucht sind.** Muss ein Lauf den Ausfall eines Anbieters überstehen, leiten Sie Verbindungsfehler, 5xx und Rate-Limit-429 an einen zweiten Anbieter weiter. [LLM-API-Failover](https://broadrouter.com/de/blog/llm-api-failover-fallback/) zeigt den Client-Code und einen Circuit Breaker.

Bei Pay-as-you-go ist jeder Retry eine neue Inferenz und wird erneut abgerechnet. Ein Pay-as-you-go-Schlüssel erlaubt außerdem 30 Anfragen pro Minute und 4 gleichzeitig laufende, Retry-Stürme treffen also schnell das [Rate-Limit](https://broadrouter.com/de/glossary/rate-limit/); der [Rate-Limit-Rechner](https://broadrouter.com/tools/llm-rate-limit-calculator/) zeigt, wie viel Spielraum Ihr Agent hat. Der [Beitrag zum Umgang mit 429](https://broadrouter.com/de/blog/handle-llm-api-429-rate-limits/) behandelt Backoff im Detail. In einem [unbegrenzten Plan](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) kosten Retries nichts extra, belegen aber, solange sie laufen, den einzigen Anfrageplatz der Session.

## 4\. Wie machen Sie Tool Calls idempotent?

Ein Modellaufruf hat keine Nebenwirkungen. Ein Tool Call kann welche haben. Stürzt der Agent ab, nachdem `send_invoice` gelaufen ist, aber bevor der Schritt gespeichert wurde, sendet der neu gestartete Agent die Rechnung erneut.

Geben Sie jedem Aufruf mit Nebenwirkungen einen [Idempotenzschlüssel](https://broadrouter.com/de/glossary/idempotency-key/), abgeleitet aus Aufgabe und Schritt, prüfen Sie ihn vor dem Handeln und überspringen Sie den Aufruf, wenn er bereits erfasst ist:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Viele Zahlungs- und Messaging-APIs akzeptieren einen Header für einen Idempotenzschlüssel. Reichen Sie Ihren dann durch.

## 5\. Wie setzen Sie Checkpoints für einen Agenten?

Speichern Sie nach jedem abgeschlossenen Schritt: die Nachrichtenliste, die Schrittnummer und die Schlüssel der Nebenwirkungen. Laden Sie beim Start den neuesten Checkpoint, falls einer existiert.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Weil zuerst in eine temporäre Datei geschrieben und dann umbenannt wird, hinterlässt ein Absturz mitten im Schreiben nie einen halben Checkpoint. Speichern Sie bei sehr langen Sessions auch eine **Zusammenfassung**: Ersetzen Sie alte Turns durch eine kurze Zusammenfassung, damit ein fortgesetzter Agent keinen riesigen Verlauf neu lädt. So bleiben Sie innerhalb des [Kontextfensters](https://broadrouter.com/de/glossary/context-window/), selbst bei 1.048.576 Tokens auf [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/).

## Checkliste vor einem Lauf über Nacht

1.  Timeout und `max_retries` explizit am Client gesetzt.
2.  Streaming aktiv, mit `include_usage`, und unvollständige Streams werden wiederholt.
3.  Ein Retry-Budget pro Aufgabe und ein Zeitlimit.
4.  Idempotenzschlüssel für jedes Tool, das schreibt, sendet oder bezahlt.
5.  Ein Checkpoint nach jedem Schritt, atomar geschrieben.
6.  Logs mit Schrittnummer, Dauer, Tokens und `X-Request-ID`.

Wenn Sie mehrere Agenten nebeneinander betreiben, lesen Sie [parallele Coding-Agenten mit Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/) und [was Multi-Agent-Setups kosten](https://broadrouter.com/de/blog/multi-agent-cost/).

## Wo BroadNet Inference ins Bild passt

BroadNet Inference nutzt Standard-Streaming für Chat Completions, liefert einen Header `X-Request-ID`, den Sie protokollieren können, und dokumentiert, welche Fehler wiederholt werden sollten; die Muster oben funktionieren also wie beschrieben. Für Agenten, die den ganzen Tag laufen, entfernen die unbegrenzten Pläne den Token-Zähler für DeepSeek V4.1 Flash zu $60 im Monat pro Session, womit Retries kostenlos werden. Beachten Sie, dass eine Meteor-Stunde eine Stunde nach dem Kauf endet und eine Orbit-Woche nach sieben Tagen; ein langer Job muss also innerhalb des Zeitraums fertig werden oder in eine sich verlängernde Full-Moon-Session wechseln. Die Pläne finden Sie unter [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agents-timeouts-retries&utm_content=body).

Kostenlose Tools zum Thema (auf Englisch)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Request-Timeout (Zeitüberschreitung)](https://broadrouter.com/de/glossary/request-timeout/)

Ein Request-Timeout ist die längste Zeit, die ein HTTP-Client auf einen Server wartet, bevor er die Anfrage aufgibt. Clients teilen ihn meist in einen Connect-Timeout für den Verbindungsaufbau und einen Read-Timeout für das Warten auf Daten. LLM-Aufrufe brauchen großzügige Read-Timeouts, weil lange Antworten Zeit kosten.

[Streaming](https://broadrouter.com/de/glossary/streaming/)

Streaming ist eine Art, die Antwort eines Sprachmodells in kleinen Chunks zurückzugeben, während sie noch erzeugt wird, statt als eine Antwort am Ende. OpenAI-kompatible APIs streamen über Server-Sent Events, wenn die Anfrage stream auf true setzt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Idempotenzschlüssel (Idempotency Key)](https://broadrouter.com/de/glossary/idempotency-key/)

Ein Idempotenzschlüssel ist ein eindeutiger Wert, meist eine zufällige ID wie eine UUID, den ein Client an eine zustandsändernde Anfrage wie eine Zahlung oder einen Kauf anhängt. Kommt dieselbe Anfrage mit demselben Schlüssel erneut, liefert der Server das ursprüngliche Ergebnis, statt die Aktion zweimal auszuführen.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

## Häufige Fragen

### Welchen Timeout sollte ich für LLM-API-Aufrufe in einem Agenten setzen?

Lang genug für den langsamsten legitimen Aufruf, kurz genug, um einen hängenden zu erkennen. Das OpenAI Python SDK nutzt standardmäßig 10 Minuten. Viele Agenten verwenden mit Streaming 2 bis 5 Minuten pro Aufruf und zusätzlich ein eigenes Zeitlimit pro Aufgabe.

### Bei welchen LLM-API-Fehlern sollte ein Agent einen Retry machen?

Wiederholen Sie Verbindungsfehler, 429 und 5xx mit begrenztem exponentiellem Backoff und Jitter. Bei 400, 401, 402, 403, 413 und 422 beheben Sie die Ursache, statt zu wiederholen. Protokollieren Sie bei BroadNet zu jedem Fehler auch den Header X-Request-ID.

### Kann man eine Chat Completion gefahrlos wiederholen?

Der Modellaufruf selbst hat keine Nebenwirkungen, also ja, aber er ist eine neue Inferenz und wird bei Pay-as-you-go erneut abgerechnet. Die Gefahr liegt bei den Tools. Ein wiederholter Schritt kann eine E-Mail doppelt senden, wenn das Tool keinen Idempotenzschlüssel nutzt.

### Wie setze ich einen Agenten nach einem Absturz fort?

Speichern Sie Nachrichtenliste und Schrittnummer nach jedem abgeschlossenen Schritt, schreiben Sie die IDs von Nebenwirkungen, bevor Sie handeln, und laden Sie alles beim Start neu. Der Agent macht beim zuletzt gespeicherten Schritt weiter.

### Brauchen lang laufende Agenten einen unbegrenzten Plan?

Nein, aber Retries und lange Kontexte summieren sich bei Pay-as-you-go. In den unbegrenzten Plänen von BroadNet hat DeepSeek V4.1 Flash keinen Token-Zähler, Retries kosten also nichts extra, wobei jede Session weiterhin eine Anfrage gleichzeitig ausführt.

## Weiterlesen

-   [Tool Calling mit offenen Modellen: Schemas, parallele Aufrufe, Retries](https://broadrouter.com/de/blog/tool-calling-open-models/)
-   [Was Multi-Agenten-Setups wirklich kosten: pro Token vs. Flatrate](https://broadrouter.com/de/blog/multi-agent-cost/)
-   [Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/)
-   [Was „unbegrenzt“ bei einem LLM-API-Plan wirklich bedeutet](https://broadrouter.com/de/blog/what-unlimited-llm-api-really-means/)
-   [LLM-API-Failover: im eigenen Code auf einen Zweitanbieter umschalten](https://broadrouter.com/de/blog/llm-api-failover-fallback/)
-   [Kosten eines KI-Coding-Agent-Laufs: Schritte, Kontext, Caching](https://broadrouter.com/de/blog/ai-coding-agent-run-cost/)
-   [Claude Code mit offenen Modellen: Proxys, native Endpoints, Grenzen](https://broadrouter.com/de/blog/claude-code-with-openai-compatible-models/)
-   [Anleitung: Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Anleitung: Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/)
-   [Anleitung: So funktionieren die unbegrenzten LLM-API-Pläne für Agenten](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/)
-   [Anleitung: OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Quellen**

-   [README des OpenAI Python SDK, Retries und Timeouts (geprüft am 2026-11-14)](https://github.com/openai/openai-python)
-   [API-Referenz von BroadNet Inference, Fehler und Retries (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [API-Referenz von BroadNet Inference, Streaming und Limits (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Unbegrenzte Pläne von BroadNet Inference (auf Englisch)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agents-timeouts-retries&utm_content=sources)
