---
title: "Долгоживущие ИИ-агенты: таймауты, повторы, чекпойнты"
description: "Как держать LLM-агента в работе часами: таймаут на вызов, стриминг для поиска зависаний, безопасные повторы, идемпотентные инструменты и чекпойнт после каждого шага."
url: https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (обновлён 2026-11-16).

# Долгоживущие ИИ-агенты: таймауты, повторы и чекпойнты

Команда BroadNet Inference · 4 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Считайте каждый вызов модели одноразовым, а состояние агента — долговечным. Задайте таймаут на вызов, используйте стриминг, чтобы замечать зависания, повторяйте 429, 5xx и оборванные потоки с ограниченной задержкой и дайте каждому инструменту с побочными эффектами ключ идемпотентности. Сохраняйте список сообщений после каждого шага, чтобы после сбоя продолжить с последнего чекпойнта, а не с начала.

## Главное

-   OpenAI Python SDK по умолчанию ждёт ответа 10 минут и делает два повтора. Для агентов задайте оба значения явно.
-   Поток, закончившийся до data \[DONE\], — неполный ответ. Его повтор — новый инференс, который при оплате по факту оплачивается заново.
-   Вызовы модели можно безопасно повторять. Побочные эффекты инструментов — нельзя, если у них нет ключа идемпотентности.
-   Сохраняйте чекпойнт после каждого завершённого шага: список сообщений, номер шага и ID выполненных побочных эффектов.
-   В сессии по тарифу повторы ничего не стоят, но пока они идут, они занимают единственный слот для запроса.

**На этой странице**

1.  Что ломается, когда агент работает часами?
2.  1\. Сколько времени можно дать одному вызову?
3.  2\. Зачем стриминг долгоживущему агенту?
4.  3\. Что повторять?
5.  4\. Как сделать вызовы инструментов идемпотентными?
6.  5\. Как сохранять чекпойнты агента?
7.  Чек-лист перед ночным запуском
8.  Где здесь BroadNet Inference

Агент, который работает пять минут, может не думать о сбоях. Агент, который работает пять часов, встретит таймаут, 429, оборванный поток и, скорее всего, перезапуск. Большинство руководств по долгоживущим агентам продают движок рабочих процессов. Возможно, он вам не нужен. В этой статье — пять привычек, которые позволяют обычному циклу агента жить часами, с кодом для OpenAI Python SDK.

## Что ломается, когда агент работает часами?

| Сбой | Как выглядит | Привычка, которая с ним справляется |
| --- | --- | --- |
| Зависший или медленный вызов | Нет ответа несколько минут | Таймаут на вызов, стриминг |
| Лимит запросов или перегрузка | 429, 5xx | Ограниченные повторы с задержкой |
| Оборванный поток | Соединение закрывается до `[DONE]` | Считать ответ неполным, повторить вызов |
| Повторный побочный эффект | Инструмент срабатывает дважды после повтора | Ключи идемпотентности |
| Падение процесса или деплой | Агент перезапускается с шага 1 | Чекпойнт на каждом шаге |

## 1\. Сколько времени можно дать одному вызову?

В README OpenAI Python SDK сказано, что по умолчанию запросы завершаются по таймауту через 10 минут, а некоторые ошибки повторяются дважды. Для агента задайте оба значения сами, чтобы поведение не изменилось у вас за спиной:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Подбирайте таймаут по данным. Записывайте длительность каждого вызова в течение дня и ставьте таймаут заметно выше самого медленного успешного вызова. Большие промпты дольше стартуют, а [модели с рассуждениями](https://broadrouter.com/ru/glossary/reasoning-tokens/) думают, прежде чем писать. При скорости около 100 токенов в секунду одни только 8000 выходных токенов занимают больше минуты. Добавьте отдельный бюджет реального времени на **задачу**, чтобы зациклившийся агент не работал всю ночь.

## 2\. Зачем стриминг долгоживущему агенту?

[Стриминг](https://broadrouter.com/ru/glossary/streaming/) даёт сигнал, пока модель работает. Без него медленный вызов и мёртвое соединение выглядят одинаково, пока не сработает таймаут. Со стримингом вы видите, как приходят фрагменты, и вдобавок получаете расход токенов в последнем фрагменте.

Правила стриминга BroadNet: читайте до буквальной строки `data: [DONE]`. Если соединение закрылось раньше, ответ неполный. Запишите `X-Request-ID`, затем решите, отправлять ли новый запрос. [Полное руководство по стримингу](https://broadrouter.com/ru/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Этот набросок собирает только текст. Если вы стримите вызовы инструментов, накапливайте ещё и `delta.tool_calls` по индексу.

## 3\. Что повторять?

SDK уже повторяет ошибки соединения, 408, 409, 429 и 5xx. Добавляйте свой повтор поверх только для того, чего SDK не видит, например для неполного потока:

1.  **Повторять:** ошибки соединения, 429, 5xx, неполные потоки. Используйте [экспоненциальную задержку](https://broadrouter.com/ru/glossary/exponential-backoff/) со случайным разбросом и пределом, например 4 попытки.
2.  **Исправлять, а не повторять:** 400, 401, 402, 403, 413, 422. Они каждый раз падают одинаково. См. [коды ошибок и когда повторять](https://broadrouter.com/ru/guides/errors-and-retries/).
3.  **Задавайте бюджет повторов на задачу**, а не только на вызов. Десять шагов по четыре повтора — это сорок лишних вызовов.
4.  **Переключайтесь на резерв, когда повторы исчерпаны.** Если запуск должен пережить сбой провайдера, переводите ошибки соединения, 5xx и 429 из-за лимита на второго провайдера. Клиентский код и автоматический выключатель (circuit breaker) показаны в статье [резервирование LLM API](https://broadrouter.com/ru/blog/llm-api-failover-fallback/).

При оплате по факту каждый повтор — новый инференс, который оплачивается заново. Ключ с оплатой по факту также допускает 30 запросов в минуту и 4 одновременно выполняемых, так что лавина повторов быстро упирается в [лимит запросов](https://broadrouter.com/ru/glossary/rate-limit/); [калькулятор лимитов](https://broadrouter.com/tools/llm-rate-limit-calculator/) покажет, какой запас есть у вашего агента. Задержки подробно разобраны в [статье об обработке 429](https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/). На [безлимитном тарифе](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) повторы ничего не стоят, но пока идут, занимают единственный слот запроса в сессии.

## 4\. Как сделать вызовы инструментов идемпотентными?

У вызова модели нет побочных эффектов. У вызова инструмента — могут быть. Если агент упал после того, как `send_invoice` выполнился, но до того, как шаг был сохранён, перезапущенный агент отправит счёт снова.

Дайте каждому вызову с побочным эффектом [ключ идемпотентности](https://broadrouter.com/ru/glossary/idempotency-key/), построенный из задачи и шага, проверяйте его перед действием и пропускайте вызов, если он уже записан:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Многие API платежей и сообщений принимают заголовок с ключом идемпотентности. Если принимают — передавайте туда свой.

## 5\. Как сохранять чекпойнты агента?

Сохраняйте после каждого завершённого шага: список сообщений, номер шага и ключи побочных эффектов. При старте загружайте последний чекпойнт, если он есть.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Запись во временный файл с последующим переименованием означает, что сбой посреди записи никогда не оставит полчекпойнта. Для очень длинных сессий сохраняйте и **сводку**: заменяйте старые реплики коротким резюме, чтобы возобновлённый агент не загружал огромную историю. Так вы остаётесь в пределах [контекстного окна](https://broadrouter.com/ru/glossary/context-window/), даже если это 1 048 576 токенов у [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/).

## Чек-лист перед ночным запуском

1.  Таймаут и `max_retries` явно заданы на клиенте.
2.  Стриминг включён, с `include_usage`, неполные потоки повторяются.
3.  Бюджет повторов на задачу и лимит реального времени.
4.  Ключи идемпотентности на каждом инструменте, который пишет, отправляет или платит.
5.  Чекпойнт после каждого шага, записанный атомарно.
6.  Логи с номером шага, длительностью, токенами и `X-Request-ID`.

Если вы запускаете несколько агентов параллельно, прочитайте статьи [параллельные агенты для программирования на фиксированном тарифе](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/) и [сколько стоят мультиагентные системы](https://broadrouter.com/ru/blog/multi-agent-cost/).

## Где здесь BroadNet Inference

BroadNet Inference использует стандартный стриминг chat completions, возвращает заголовок `X-Request-ID`, который можно записывать, и документирует, какие ошибки повторять, так что приёмы выше работают как написано. Для агентов, работающих весь день, безлимитные тарифы убирают счётчик токенов у DeepSeek V4.1 Flash за $60 в месяц за сессию, и повторы становятся бесплатными. Учтите, что час Meteor заканчивается через час после покупки, а неделя Orbit — через семь дней, так что долгая задача должна уложиться в этот период или перейти на продлеваемую сессию Full Moon. Тарифы — на [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agents-timeouts-retries&utm_content=body).

Бесплатные инструменты по теме (на английском)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[ИИ-агент (AI agent)](https://broadrouter.com/ru/glossary/agent/)

ИИ-агент — это система, в которой языковая модель сама направляет свои шаги к цели: решает, какие инструменты вызвать, читает результаты и повторяет, пока не выдаст итоговый ответ или не упрётся в лимит. Фиксированный сценарий, который вызывает модель в заранее заданных местах, обычно называют не агентом, а workflow.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/)

Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Ключ идемпотентности (idempotency key)](https://broadrouter.com/ru/glossary/idempotency-key/)

Ключ идемпотентности — это уникальное значение, обычно случайный ID вроде UUID, которое клиент прикладывает к запросу, меняющему состояние, например к платежу или покупке. Если тот же запрос приходит снова с тем же ключом, сервер возвращает исходный результат, а не выполняет действие второй раз.

[Мультиагентная система (multi-agent system)](https://broadrouter.com/ru/glossary/multi-agent-system/)

Мультиагентная система — это LLM-приложение, в котором несколько агентов, каждый со своим промптом, инструментами и контекстом, решают части одной задачи. Распространённая схема — оркестратор и исполнители: ведущий агент планирует, параллельно запускает агентов-исполнителей и объединяет их результаты.

## Вопросы и ответы

### Какой таймаут ставить на вызовы LLM API в агенте?

Достаточно длинный для самого медленного нормального вызова и достаточно короткий, чтобы поймать зависший. В OpenAI Python SDK по умолчанию 10 минут. Многие агенты используют 2–5 минут на вызов со стримингом и отдельный лимит реального времени на задачу.

### Какие ошибки LLM API агенту стоит повторять?

Повторяйте ошибки соединения, 429 и 5xx с ограниченной экспоненциальной задержкой и случайным разбросом. 400, 401, 402, 403, 413 и 422 не повторяйте, а исправляйте. На BroadNet также записывайте заголовок X-Request-ID для каждого сбоя.

### Безопасно ли повторять запрос chat completion?

У самого вызова модели нет побочных эффектов, так что да, но это новый инференс, и при оплате по факту он оплачивается заново. Опасность — в инструментах. Повторённый шаг может отправить письмо дважды, если инструмент не использует ключ идемпотентности.

### Как продолжить работу агента после сбоя?

Сохраняйте список сообщений и номер шага после каждого завершённого шага, записывайте ID побочных эффектов до действия и загружайте их при старте. Агент продолжит с последнего сохранённого шага.

### Нужен ли долгоживущим агентам безлимитный тариф?

Нет, но при оплате по факту повторы и длинные контексты накапливаются. На безлимитных тарифах BroadNet у DeepSeek V4.1 Flash нет счётчика токенов, так что повторы ничего не стоят, хотя каждая сессия по-прежнему выполняет один запрос за раз.

## Читайте также

-   [Вызов инструментов в открытых моделях: схемы, параллельность, повторы](https://broadrouter.com/ru/blog/tool-calling-open-models/)
-   [Сколько на самом деле стоят мультиагентные системы: токены или сессии](https://broadrouter.com/ru/blog/multi-agent-cost/)
-   [Параллельные агенты для программирования на безлимитном LLM API](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/)
-   [Что на самом деле значит «безлимит» в тарифе LLM API](https://broadrouter.com/ru/blog/what-unlimited-llm-api-really-means/)
-   [Отказоустойчивость LLM API: резервный провайдер в вашем коде](https://broadrouter.com/ru/blog/llm-api-failover-fallback/)
-   [Сколько стоит один запуск ИИ-агента для кода: шаги, контекст, кэш](https://broadrouter.com/ru/blog/ai-coding-agent-run-cost/)
-   [Claude Code на открытых моделях: прокси, нативные эндпоинты, лимиты](https://broadrouter.com/ru/blog/claude-code-with-openai-compatible-models/)
-   [Руководство: Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Руководство: Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/)
-   [Руководство: Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Источники**

-   [README OpenAI Python SDK, повторы и таймауты (дата обращения 2026-11-14)](https://github.com/openai/openai-python)
-   [Справочник BroadNet Inference API, ошибки и повторы (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [Справочник BroadNet Inference API, стриминг и лимиты (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Безлимитные тарифы BroadNet Inference (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agents-timeouts-retries&utm_content=sources)
