Một agent chạy năm phút có thể bỏ qua lỗi. Một agent chạy năm giờ sẽ gặp timeout, lỗi 429, stream bị ngắt và có lẽ cả một lần khởi động lại. Phần lớn hướng dẫn về agent chạy dài đều chào bán một workflow engine. Có thể bạn không cần đến nó. Bài này trình bày năm thói quen giúp một vòng lặp agent đơn giản sống sót hàng giờ, kèm code cho OpenAI Python SDK.
Điều gì hỏng khi agent chạy hàng giờ?
| Sự cố | Biểu hiện | Thói quen xử lý |
|---|---|---|
| Lệnh gọi bị treo hoặc chậm | Không có phản hồi trong nhiều phút | Timeout cho từng lệnh gọi, streaming |
| Giới hạn tốc độ hoặc quá tải | 429, 5xx | Retry có giới hạn kèm backoff |
| Stream bị ngắt | Kết nối đóng trước [DONE] |
Coi là chưa hoàn chỉnh, retry lệnh gọi |
| Tác dụng phụ bị lặp | Tool chạy hai lần sau một lần retry | Idempotency key |
| Tiến trình sập hoặc deploy | Agent bắt đầu lại từ bước 1 | Checkpoint mỗi bước |
1. Một lệnh gọi được phép chạy bao lâu?
README của OpenAI Python SDK cho biết request mặc định timeout sau 10 phút và một số lỗi được retry hai lần. Với agent, hãy tự đặt cả hai để hành vi không âm thầm thay đổi:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Hãy chọn timeout dựa trên dữ liệu. Ghi lại thời gian của mọi lệnh gọi trong một ngày; đặt timeout cao hơn hẳn lệnh gọi thành công chậm nhất. Prompt lớn cần nhiều thời gian hơn để bắt đầu, và model suy luận suy nghĩ trước khi viết. Ở tốc độ khoảng 100 token mỗi giây, riêng 8.000 token đầu ra đã mất hơn một phút. Hãy thêm một ngân sách thời gian thực riêng cho mỗi tác vụ để một vòng lặp cứ chạy mãi không thể chạy suốt đêm.
2. Vì sao nên dùng streaming trong agent chạy dài?
Streaming cho bạn tín hiệu trong lúc model làm việc. Không có nó, một lệnh gọi chậm và một kết nối đã chết trông giống hệt nhau cho đến khi timeout kích hoạt. Có nó, bạn thấy các chunk đến và còn nhận được mức sử dụng token trong chunk cuối.
Quy tắc streaming của BroadNet: đọc cho đến dòng data: [DONE] nguyên văn. Nếu kết nối đóng trước đó, câu trả lời chưa hoàn chỉnh. Hãy ghi lại X-Request-ID, rồi quyết định có gửi request mới hay không. Hướng dẫn streaming đầy đủ.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Bản phác thảo này chỉ gom văn bản. Nếu bạn stream cả tool call, hãy cộng dồn delta.tool_calls theo index.
3. Nên retry những gì?
SDK đã tự retry lỗi kết nối, 408, 409, 429 và 5xx. Chỉ thêm lớp retry của riêng bạn cho những gì SDK không thấy được, như một stream chưa hoàn chỉnh:
- Retry: lỗi kết nối, 429, 5xx, stream chưa hoàn chỉnh. Dùng exponential backoff với jitter và giới hạn, ví dụ 4 lần thử.
- Sửa, đừng retry: 400, 401, 402, 403, 413, 422. Các lỗi này lần nào cũng thất bại y như nhau. Xem mã lỗi và khi nào nên retry.
- Đặt ngân sách retry cho mỗi tác vụ, không chỉ cho mỗi lệnh gọi. Mười bước, mỗi bước retry bốn lần, là bốn mươi lệnh gọi thêm.
- Failover khi đã hết lượt retry. Nếu một lần chạy phải sống sót qua sự cố của nhà cung cấp, hãy chuyển lỗi kết nối, 5xx và 429 do giới hạn tốc độ sang nhà cung cấp thứ hai. Failover API LLM có code phía client và một circuit breaker.
Khi trả theo mức dùng, mỗi lần retry là một lần inference mới và bị tính phí lại. Một key trả theo mức dùng cũng chỉ cho phép 30 request mỗi phút và 4 request đang chạy, nên một cơn bão retry sẽ nhanh chóng chạm giới hạn tốc độ; công cụ tính giới hạn tốc độ cho thấy agent của bạn còn bao nhiêu dư địa. Bài về xử lý lỗi 429 nói chi tiết về backoff. Trên một gói không giới hạn, retry không tốn thêm tiền, nhưng chiếm khe request duy nhất của phiên trong lúc chạy.
4. Làm sao để tool call idempotent?
Lệnh gọi model không có tác dụng phụ. Tool call thì có thể có. Nếu agent sập sau khi send_invoice đã chạy nhưng trước khi bước đó được lưu, agent khởi động lại sẽ gửi hóa đơn lần nữa.
Hãy gán cho mỗi lệnh gọi có tác dụng phụ một idempotency key tạo từ tác vụ và bước, kiểm tra nó trước khi thực hiện, và bỏ qua lệnh gọi nếu đã được ghi nhận:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Nhiều API thanh toán và nhắn tin chấp nhận header idempotency key. Khi có, hãy truyền key của bạn qua.
5. Checkpoint cho agent như thế nào?
Lưu sau mỗi bước hoàn tất: danh sách message, số thứ tự bước và các key của tác dụng phụ. Khi khởi động, tải checkpoint mới nhất nếu có.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Ghi vào file tạm rồi đổi tên nghĩa là nếu sập giữa chừng khi đang ghi, bạn sẽ không bao giờ bị một checkpoint dở dang. Với các phiên rất dài, hãy checkpoint cả một bản tóm tắt: thay các lượt cũ bằng một tóm tắt ngắn để agent tiếp tục không phải tải lại một lịch sử khổng lồ. Điều đó giữ bạn trong context window, kể cả ở 1.048.576 token trên DeepSeek V4.1 Flash.
Danh sách kiểm tra trước khi chạy qua đêm
- Đặt rõ timeout và
max_retriestrên client. - Bật streaming kèm
include_usage, và retry các stream chưa hoàn chỉnh. - Ngân sách retry cho mỗi tác vụ và một giới hạn thời gian thực.
- Idempotency key cho mọi tool có ghi, gửi hoặc thanh toán.
- Checkpoint sau mỗi bước, ghi theo cách nguyên tử.
- Log có số thứ tự bước, thời gian, token và
X-Request-ID.
Nếu bạn chạy nhiều agent song song, hãy đọc chạy song song nhiều coding agent với giá cố định và chi phí của hệ thống multi-agent.
BroadNet Inference phù hợp ở đâu
BroadNet Inference dùng streaming chat completions tiêu chuẩn, trả về header X-Request-ID để bạn ghi log, và có tài liệu về những lỗi nên retry, nên các mẫu ở trên hoạt động đúng như viết. Với agent chạy cả ngày, các gói không giới hạn bỏ đồng hồ đo token trên DeepSeek V4.1 Flash với giá $60 mỗi tháng cho mỗi phiên, nên retry trở thành miễn phí. Lưu ý rằng một giờ Meteor kết thúc một giờ sau khi mua và một tuần Orbit kết thúc sau bảy ngày, nên một tác vụ dài phải xong trong thời hạn đó hoặc chuyển sang một phiên Full Moon tự gia hạn. Các gói có tại inference.broadnet.ai/plans.
