Агент, который работает пять минут, может не думать о сбоях. Агент, который работает пять часов, встретит таймаут, 429, оборванный поток и, скорее всего, перезапуск. Большинство руководств по долгоживущим агентам продают движок рабочих процессов. Возможно, он вам не нужен. В этой статье — пять привычек, которые позволяют обычному циклу агента жить часами, с кодом для OpenAI Python SDK.
Что ломается, когда агент работает часами?
| Сбой | Как выглядит | Привычка, которая с ним справляется |
|---|---|---|
| Зависший или медленный вызов | Нет ответа несколько минут | Таймаут на вызов, стриминг |
| Лимит запросов или перегрузка | 429, 5xx | Ограниченные повторы с задержкой |
| Оборванный поток | Соединение закрывается до [DONE] |
Считать ответ неполным, повторить вызов |
| Повторный побочный эффект | Инструмент срабатывает дважды после повтора | Ключи идемпотентности |
| Падение процесса или деплой | Агент перезапускается с шага 1 | Чекпойнт на каждом шаге |
1. Сколько времени можно дать одному вызову?
В README OpenAI Python SDK сказано, что по умолчанию запросы завершаются по таймауту через 10 минут, а некоторые ошибки повторяются дважды. Для агента задайте оба значения сами, чтобы поведение не изменилось у вас за спиной:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Подбирайте таймаут по данным. Записывайте длительность каждого вызова в течение дня и ставьте таймаут заметно выше самого медленного успешного вызова. Большие промпты дольше стартуют, а модели с рассуждениями думают, прежде чем писать. При скорости около 100 токенов в секунду одни только 8000 выходных токенов занимают больше минуты. Добавьте отдельный бюджет реального времени на задачу, чтобы зациклившийся агент не работал всю ночь.
2. Зачем стриминг долгоживущему агенту?
Стриминг даёт сигнал, пока модель работает. Без него медленный вызов и мёртвое соединение выглядят одинаково, пока не сработает таймаут. Со стримингом вы видите, как приходят фрагменты, и вдобавок получаете расход токенов в последнем фрагменте.
Правила стриминга BroadNet: читайте до буквальной строки data: [DONE]. Если соединение закрылось раньше, ответ неполный. Запишите X-Request-ID, затем решите, отправлять ли новый запрос. Полное руководство по стримингу.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Этот набросок собирает только текст. Если вы стримите вызовы инструментов, накапливайте ещё и delta.tool_calls по индексу.
3. Что повторять?
SDK уже повторяет ошибки соединения, 408, 409, 429 и 5xx. Добавляйте свой повтор поверх только для того, чего SDK не видит, например для неполного потока:
- Повторять: ошибки соединения, 429, 5xx, неполные потоки. Используйте экспоненциальную задержку со случайным разбросом и пределом, например 4 попытки.
- Исправлять, а не повторять: 400, 401, 402, 403, 413, 422. Они каждый раз падают одинаково. См. коды ошибок и когда повторять.
- Задавайте бюджет повторов на задачу, а не только на вызов. Десять шагов по четыре повтора — это сорок лишних вызовов.
- Переключайтесь на резерв, когда повторы исчерпаны. Если запуск должен пережить сбой провайдера, переводите ошибки соединения, 5xx и 429 из-за лимита на второго провайдера. Клиентский код и автоматический выключатель (circuit breaker) показаны в статье резервирование LLM API.
При оплате по факту каждый повтор — новый инференс, который оплачивается заново. Ключ с оплатой по факту также допускает 30 запросов в минуту и 4 одновременно выполняемых, так что лавина повторов быстро упирается в лимит запросов; калькулятор лимитов покажет, какой запас есть у вашего агента. Задержки подробно разобраны в статье об обработке 429. На безлимитном тарифе повторы ничего не стоят, но пока идут, занимают единственный слот запроса в сессии.
4. Как сделать вызовы инструментов идемпотентными?
У вызова модели нет побочных эффектов. У вызова инструмента — могут быть. Если агент упал после того, как send_invoice выполнился, но до того, как шаг был сохранён, перезапущенный агент отправит счёт снова.
Дайте каждому вызову с побочным эффектом ключ идемпотентности, построенный из задачи и шага, проверяйте его перед действием и пропускайте вызов, если он уже записан:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Многие API платежей и сообщений принимают заголовок с ключом идемпотентности. Если принимают — передавайте туда свой.
5. Как сохранять чекпойнты агента?
Сохраняйте после каждого завершённого шага: список сообщений, номер шага и ключи побочных эффектов. При старте загружайте последний чекпойнт, если он есть.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Запись во временный файл с последующим переименованием означает, что сбой посреди записи никогда не оставит полчекпойнта. Для очень длинных сессий сохраняйте и сводку: заменяйте старые реплики коротким резюме, чтобы возобновлённый агент не загружал огромную историю. Так вы остаётесь в пределах контекстного окна, даже если это 1 048 576 токенов у DeepSeek V4.1 Flash.
Чек-лист перед ночным запуском
- Таймаут и
max_retriesявно заданы на клиенте. - Стриминг включён, с
include_usage, неполные потоки повторяются. - Бюджет повторов на задачу и лимит реального времени.
- Ключи идемпотентности на каждом инструменте, который пишет, отправляет или платит.
- Чекпойнт после каждого шага, записанный атомарно.
- Логи с номером шага, длительностью, токенами и
X-Request-ID.
Если вы запускаете несколько агентов параллельно, прочитайте статьи параллельные агенты для программирования на фиксированном тарифе и сколько стоят мультиагентные системы.
Где здесь BroadNet Inference
BroadNet Inference использует стандартный стриминг chat completions, возвращает заголовок X-Request-ID, который можно записывать, и документирует, какие ошибки повторять, так что приёмы выше работают как написано. Для агентов, работающих весь день, безлимитные тарифы убирают счётчик токенов у DeepSeek V4.1 Flash за $60 в месяц за сессию, и повторы становятся бесплатными. Учтите, что час Meteor заканчивается через час после покупки, а неделя Orbit — через семь дней, так что долгая задача должна уложиться в этот период или перейти на продлеваемую сессию Full Moon. Тарифы — на inference.broadnet.ai/plans.
