---
title: "Agent AI chạy dài: timeout, retry và checkpoint | BroadRouter"
description: "Giữ một agent LLM chạy hàng giờ: timeout cho từng lệnh gọi, streaming để phát hiện treo, retry an toàn, tác dụng phụ idempotent của tool và checkpoint sau mỗi bước."
url: https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (cập nhật ngày 2026-11-16).

# Agent chạy dài: timeout, retry và checkpoint đứng vững

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

Coi mỗi lệnh gọi model là có thể bỏ đi, còn trạng thái agent là bền vững. Đặt timeout cho từng lệnh gọi, dùng streaming để phát hiện treo, retry lỗi 429, 5xx và stream bị ngắt với backoff có giới hạn, và gán idempotency key cho mọi tool có tác dụng phụ. Lưu danh sách message sau mỗi bước để khi sập, agent tiếp tục từ checkpoint cuối chứ không phải từ đầu.

## Ý chính

-   OpenAI Python SDK mặc định timeout sau 10 phút và retry hai lần. Với agent, hãy đặt rõ cả hai.
-   Một stream kết thúc trước data \[DONE\] là câu trả lời chưa hoàn chỉnh. Retry nó là một lần inference mới, bị tính phí lại khi trả theo mức dùng.
-   Lệnh gọi model retry được an toàn. Tác dụng phụ của tool thì không, trừ khi có idempotency key.
-   Checkpoint sau mỗi bước hoàn tất: danh sách message, số thứ tự bước và ID của các tác dụng phụ đã xong.
-   Trên một phiên của gói, retry không tốn thêm tiền nhưng chiếm khe request duy nhất trong lúc chạy.

**Trong trang này**

1.  Điều gì hỏng khi agent chạy hàng giờ?
2.  1\. Một lệnh gọi được phép chạy bao lâu?
3.  2\. Vì sao nên dùng streaming trong agent chạy dài?
4.  3\. Nên retry những gì?
5.  4\. Làm sao để tool call idempotent?
6.  5\. Checkpoint cho agent như thế nào?
7.  Danh sách kiểm tra trước khi chạy qua đêm
8.  BroadNet Inference phù hợp ở đâu

Một agent chạy năm phút có thể bỏ qua lỗi. Một agent chạy năm giờ sẽ gặp timeout, lỗi 429, stream bị ngắt và có lẽ cả một lần khởi động lại. Phần lớn hướng dẫn về agent chạy dài đều chào bán một workflow engine. Có thể bạn không cần đến nó. Bài này trình bày năm thói quen giúp một vòng lặp agent đơn giản sống sót hàng giờ, kèm code cho OpenAI Python SDK.

## Điều gì hỏng khi agent chạy hàng giờ?

| Sự cố | Biểu hiện | Thói quen xử lý |
| --- | --- | --- |
| Lệnh gọi bị treo hoặc chậm | Không có phản hồi trong nhiều phút | Timeout cho từng lệnh gọi, streaming |
| Giới hạn tốc độ hoặc quá tải | 429, 5xx | Retry có giới hạn kèm backoff |
| Stream bị ngắt | Kết nối đóng trước `[DONE]` | Coi là chưa hoàn chỉnh, retry lệnh gọi |
| Tác dụng phụ bị lặp | Tool chạy hai lần sau một lần retry | Idempotency key |
| Tiến trình sập hoặc deploy | Agent bắt đầu lại từ bước 1 | Checkpoint mỗi bước |

## 1\. Một lệnh gọi được phép chạy bao lâu?

README của OpenAI Python SDK cho biết request mặc định timeout sau 10 phút và một số lỗi được retry hai lần. Với agent, hãy tự đặt cả hai để hành vi không âm thầm thay đổi:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Hãy chọn timeout dựa trên dữ liệu. Ghi lại thời gian của mọi lệnh gọi trong một ngày; đặt timeout cao hơn hẳn lệnh gọi thành công chậm nhất. Prompt lớn cần nhiều thời gian hơn để bắt đầu, và [model suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/) suy nghĩ trước khi viết. Ở tốc độ khoảng 100 token mỗi giây, riêng 8.000 token đầu ra đã mất hơn một phút. Hãy thêm một ngân sách thời gian thực riêng cho mỗi **tác vụ** để một vòng lặp cứ chạy mãi không thể chạy suốt đêm.

## 2\. Vì sao nên dùng streaming trong agent chạy dài?

[Streaming](https://broadrouter.com/vi/glossary/streaming/) cho bạn tín hiệu trong lúc model làm việc. Không có nó, một lệnh gọi chậm và một kết nối đã chết trông giống hệt nhau cho đến khi timeout kích hoạt. Có nó, bạn thấy các chunk đến và còn nhận được mức sử dụng token trong chunk cuối.

Quy tắc streaming của BroadNet: đọc cho đến dòng `data: [DONE]` nguyên văn. Nếu kết nối đóng trước đó, câu trả lời chưa hoàn chỉnh. Hãy ghi lại `X-Request-ID`, rồi quyết định có gửi request mới hay không. [Hướng dẫn streaming đầy đủ](https://broadrouter.com/vi/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Bản phác thảo này chỉ gom văn bản. Nếu bạn stream cả tool call, hãy cộng dồn `delta.tool_calls` theo index.

## 3\. Nên retry những gì?

SDK đã tự retry lỗi kết nối, 408, 409, 429 và 5xx. Chỉ thêm lớp retry của riêng bạn cho những gì SDK không thấy được, như một stream chưa hoàn chỉnh:

1.  **Retry:** lỗi kết nối, 429, 5xx, stream chưa hoàn chỉnh. Dùng [exponential backoff](https://broadrouter.com/vi/glossary/exponential-backoff/) với jitter và giới hạn, ví dụ 4 lần thử.
2.  **Sửa, đừng retry:** 400, 401, 402, 403, 413, 422. Các lỗi này lần nào cũng thất bại y như nhau. Xem [mã lỗi và khi nào nên retry](https://broadrouter.com/vi/guides/errors-and-retries/).
3.  **Đặt ngân sách retry cho mỗi tác vụ**, không chỉ cho mỗi lệnh gọi. Mười bước, mỗi bước retry bốn lần, là bốn mươi lệnh gọi thêm.
4.  **Failover khi đã hết lượt retry.** Nếu một lần chạy phải sống sót qua sự cố của nhà cung cấp, hãy chuyển lỗi kết nối, 5xx và 429 do giới hạn tốc độ sang nhà cung cấp thứ hai. [Failover API LLM](https://broadrouter.com/vi/blog/llm-api-failover-fallback/) có code phía client và một circuit breaker.

Khi trả theo mức dùng, mỗi lần retry là một lần inference mới và bị tính phí lại. Một key trả theo mức dùng cũng chỉ cho phép 30 request mỗi phút và 4 request đang chạy, nên một cơn bão retry sẽ nhanh chóng chạm [giới hạn tốc độ](https://broadrouter.com/vi/glossary/rate-limit/); [công cụ tính giới hạn tốc độ](https://broadrouter.com/tools/llm-rate-limit-calculator/) cho thấy agent của bạn còn bao nhiêu dư địa. [Bài về xử lý lỗi 429](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/) nói chi tiết về backoff. Trên một [gói không giới hạn](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/), retry không tốn thêm tiền, nhưng chiếm khe request duy nhất của phiên trong lúc chạy.

## 4\. Làm sao để tool call idempotent?

Lệnh gọi model không có tác dụng phụ. Tool call thì có thể có. Nếu agent sập sau khi `send_invoice` đã chạy nhưng trước khi bước đó được lưu, agent khởi động lại sẽ gửi hóa đơn lần nữa.

Hãy gán cho mỗi lệnh gọi có tác dụng phụ một [idempotency key](https://broadrouter.com/vi/glossary/idempotency-key/) tạo từ tác vụ và bước, kiểm tra nó trước khi thực hiện, và bỏ qua lệnh gọi nếu đã được ghi nhận:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Nhiều API thanh toán và nhắn tin chấp nhận header idempotency key. Khi có, hãy truyền key của bạn qua.

## 5\. Checkpoint cho agent như thế nào?

Lưu sau mỗi bước hoàn tất: danh sách message, số thứ tự bước và các key của tác dụng phụ. Khi khởi động, tải checkpoint mới nhất nếu có.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Ghi vào file tạm rồi đổi tên nghĩa là nếu sập giữa chừng khi đang ghi, bạn sẽ không bao giờ bị một checkpoint dở dang. Với các phiên rất dài, hãy checkpoint cả một **bản tóm tắt**: thay các lượt cũ bằng một tóm tắt ngắn để agent tiếp tục không phải tải lại một lịch sử khổng lồ. Điều đó giữ bạn trong [context window](https://broadrouter.com/vi/glossary/context-window/), kể cả ở 1.048.576 token trên [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/).

## Danh sách kiểm tra trước khi chạy qua đêm

1.  Đặt rõ timeout và `max_retries` trên client.
2.  Bật streaming kèm `include_usage`, và retry các stream chưa hoàn chỉnh.
3.  Ngân sách retry cho mỗi tác vụ và một giới hạn thời gian thực.
4.  Idempotency key cho mọi tool có ghi, gửi hoặc thanh toán.
5.  Checkpoint sau mỗi bước, ghi theo cách nguyên tử.
6.  Log có số thứ tự bước, thời gian, token và `X-Request-ID`.

Nếu bạn chạy nhiều agent song song, hãy đọc [chạy song song nhiều coding agent với giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/) và [chi phí của hệ thống multi-agent](https://broadrouter.com/vi/blog/multi-agent-cost/).

## BroadNet Inference phù hợp ở đâu

BroadNet Inference dùng streaming chat completions tiêu chuẩn, trả về header `X-Request-ID` để bạn ghi log, và có tài liệu về những lỗi nên retry, nên các mẫu ở trên hoạt động đúng như viết. Với agent chạy cả ngày, các gói không giới hạn bỏ đồng hồ đo token trên DeepSeek V4.1 Flash với giá $60 mỗi tháng cho mỗi phiên, nên retry trở thành miễn phí. Lưu ý rằng một giờ Meteor kết thúc một giờ sau khi mua và một tuần Orbit kết thúc sau bảy ngày, nên một tác vụ dài phải xong trong thời hạn đó hoặc chuyển sang một phiên Full Moon tự gia hạn. Các gói có tại [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agents-timeouts-retries&utm_content=body).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Idempotency key (khóa idempotency)](https://broadrouter.com/vi/glossary/idempotency-key/)

Idempotency key là một giá trị duy nhất, thường là ID ngẫu nhiên như UUID, mà client gắn vào request làm thay đổi trạng thái, chẳng hạn thanh toán hay mua hàng. Nếu cùng request được gửi lại với cùng key, server trả về kết quả ban đầu thay vì thực hiện hai lần.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

[Hệ thống đa agent (multi-agent system)](https://broadrouter.com/vi/glossary/multi-agent-system/)

Hệ thống đa agent là ứng dụng LLM trong đó nhiều agent, mỗi agent có prompt, tool và context riêng, cùng xử lý các phần của một tác vụ. Thiết kế phổ biến là orchestrator-worker: agent chính lập kế hoạch, khởi chạy các worker song song và tổng hợp kết quả.

## Câu hỏi thường gặp

### Nên đặt timeout bao nhiêu cho lệnh gọi API LLM trong agent?

Đủ dài cho lệnh gọi hợp lệ chậm nhất, đủ ngắn để bắt được lệnh gọi bị treo. OpenAI Python SDK mặc định 10 phút. Nhiều agent dùng 2 đến 5 phút mỗi lệnh gọi kèm streaming, và một giới hạn thời gian thực riêng cho mỗi tác vụ.

### Agent nên retry những lỗi API LLM nào?

Retry lỗi kết nối, 429 và 5xx với exponential backoff có giới hạn và jitter. Với 400, 401, 402, 403, 413 và 422 thì hãy sửa thay vì retry. Trên BroadNet, hãy ghi lại cả header X-Request-ID cho mỗi lần lỗi.

### Retry một chat completion có an toàn không?

Bản thân lệnh gọi model không có tác dụng phụ, nên có, nhưng đó là một lần inference mới và bị tính phí lại khi trả theo mức dùng. Nguy hiểm nằm ở tool. Một bước được retry có thể gửi email hai lần nếu tool không dùng idempotency key.

### Làm sao để agent tiếp tục sau khi bị sập?

Lưu danh sách message và số thứ tự bước sau mỗi bước hoàn tất, ghi ID tác dụng phụ trước khi thực hiện, và tải lại chúng khi khởi động. Agent sẽ tiếp tục từ bước được lưu gần nhất.

### Agent chạy dài có cần gói không giới hạn không?

Không bắt buộc, nhưng khi trả theo mức dùng thì retry và context dài sẽ cộng dồn. Trên các gói không giới hạn của BroadNet, DeepSeek V4.1 Flash không đo token, nên retry không tốn thêm, dù mỗi phiên vẫn chỉ chạy một request mỗi lúc.

## Đọc tiếp

-   [Tool calling với model mở: schema, gọi song song, retry](https://broadrouter.com/vi/blog/tool-calling-open-models/)
-   [Chi phí thật của multi-agent: trả theo token hay phiên giá cố định](https://broadrouter.com/vi/blog/multi-agent-cost/)
-   [Cách chạy coding agent song song trên API LLM giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/)
-   [“Không giới hạn” trong gói API LLM thực sự có nghĩa là gì](https://broadrouter.com/vi/blog/what-unlimited-llm-api-really-means/)
-   [Failover API LLM: chuyển sang nhà cung cấp thứ hai bằng code của bạn](https://broadrouter.com/vi/blog/llm-api-failover-fallback/)
-   [Chi phí một lần chạy AI coding agent: số bước, context và cache](https://broadrouter.com/vi/blog/ai-coding-agent-run-cost/)
-   [Claude Code với model mở: proxy, endpoint gốc và giới hạn](https://broadrouter.com/vi/blog/claude-code-with-openai-compatible-models/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Nguồn**

-   [README của OpenAI Python SDK, retry và timeout (kiểm tra ngày 2026-11-14)](https://github.com/openai/openai-python)
-   [Tài liệu tham chiếu API BroadNet Inference, lỗi và retry (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [Tài liệu tham chiếu API BroadNet Inference, streaming và giới hạn (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Các gói không giới hạn của BroadNet Inference (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agents-timeouts-retries&utm_content=sources)
