BroadRouter

Agent chạy dài: timeout, retry và checkpoint đứng vững

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày · Cập nhật

Coi mỗi lệnh gọi model là có thể bỏ đi, còn trạng thái agent là bền vững. Đặt timeout cho từng lệnh gọi, dùng streaming để phát hiện treo, retry lỗi 429, 5xx và stream bị ngắt với backoff có giới hạn, và gán idempotency key cho mọi tool có tác dụng phụ. Lưu danh sách message sau mỗi bước để khi sập, agent tiếp tục từ checkpoint cuối chứ không phải từ đầu.

Một agent chạy năm phút có thể bỏ qua lỗi. Một agent chạy năm giờ sẽ gặp timeout, lỗi 429, stream bị ngắt và có lẽ cả một lần khởi động lại. Phần lớn hướng dẫn về agent chạy dài đều chào bán một workflow engine. Có thể bạn không cần đến nó. Bài này trình bày năm thói quen giúp một vòng lặp agent đơn giản sống sót hàng giờ, kèm code cho OpenAI Python SDK.

Điều gì hỏng khi agent chạy hàng giờ?

Sự cố Biểu hiện Thói quen xử lý
Lệnh gọi bị treo hoặc chậm Không có phản hồi trong nhiều phút Timeout cho từng lệnh gọi, streaming
Giới hạn tốc độ hoặc quá tải 429, 5xx Retry có giới hạn kèm backoff
Stream bị ngắt Kết nối đóng trước [DONE] Coi là chưa hoàn chỉnh, retry lệnh gọi
Tác dụng phụ bị lặp Tool chạy hai lần sau một lần retry Idempotency key
Tiến trình sập hoặc deploy Agent bắt đầu lại từ bước 1 Checkpoint mỗi bước

1. Một lệnh gọi được phép chạy bao lâu?

README của OpenAI Python SDK cho biết request mặc định timeout sau 10 phút và một số lỗi được retry hai lần. Với agent, hãy tự đặt cả hai để hành vi không âm thầm thay đổi:

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)

Hãy chọn timeout dựa trên dữ liệu. Ghi lại thời gian của mọi lệnh gọi trong một ngày; đặt timeout cao hơn hẳn lệnh gọi thành công chậm nhất. Prompt lớn cần nhiều thời gian hơn để bắt đầu, và model suy luận suy nghĩ trước khi viết. Ở tốc độ khoảng 100 token mỗi giây, riêng 8.000 token đầu ra đã mất hơn một phút. Hãy thêm một ngân sách thời gian thực riêng cho mỗi tác vụ để một vòng lặp cứ chạy mãi không thể chạy suốt đêm.

2. Vì sao nên dùng streaming trong agent chạy dài?

Streaming cho bạn tín hiệu trong lúc model làm việc. Không có nó, một lệnh gọi chậm và một kết nối đã chết trông giống hệt nhau cho đến khi timeout kích hoạt. Có nó, bạn thấy các chunk đến và còn nhận được mức sử dụng token trong chunk cuối.

Quy tắc streaming của BroadNet: đọc cho đến dòng data: [DONE] nguyên văn. Nếu kết nối đóng trước đó, câu trả lời chưa hoàn chỉnh. Hãy ghi lại X-Request-ID, rồi quyết định có gửi request mới hay không. Hướng dẫn streaming đầy đủ.

def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)

Bản phác thảo này chỉ gom văn bản. Nếu bạn stream cả tool call, hãy cộng dồn delta.tool_calls theo index.

3. Nên retry những gì?

SDK đã tự retry lỗi kết nối, 408, 409, 429 và 5xx. Chỉ thêm lớp retry của riêng bạn cho những gì SDK không thấy được, như một stream chưa hoàn chỉnh:

  1. Retry: lỗi kết nối, 429, 5xx, stream chưa hoàn chỉnh. Dùng exponential backoff với jitter và giới hạn, ví dụ 4 lần thử.
  2. Sửa, đừng retry: 400, 401, 402, 403, 413, 422. Các lỗi này lần nào cũng thất bại y như nhau. Xem mã lỗi và khi nào nên retry.
  3. Đặt ngân sách retry cho mỗi tác vụ, không chỉ cho mỗi lệnh gọi. Mười bước, mỗi bước retry bốn lần, là bốn mươi lệnh gọi thêm.
  4. Failover khi đã hết lượt retry. Nếu một lần chạy phải sống sót qua sự cố của nhà cung cấp, hãy chuyển lỗi kết nối, 5xx và 429 do giới hạn tốc độ sang nhà cung cấp thứ hai. Failover API LLM có code phía client và một circuit breaker.

Khi trả theo mức dùng, mỗi lần retry là một lần inference mới và bị tính phí lại. Một key trả theo mức dùng cũng chỉ cho phép 30 request mỗi phút và 4 request đang chạy, nên một cơn bão retry sẽ nhanh chóng chạm giới hạn tốc độ; công cụ tính giới hạn tốc độ cho thấy agent của bạn còn bao nhiêu dư địa. Bài về xử lý lỗi 429 nói chi tiết về backoff. Trên một gói không giới hạn, retry không tốn thêm tiền, nhưng chiếm khe request duy nhất của phiên trong lúc chạy.

4. Làm sao để tool call idempotent?

Lệnh gọi model không có tác dụng phụ. Tool call thì có thể có. Nếu agent sập sau khi send_invoice đã chạy nhưng trước khi bước đó được lưu, agent khởi động lại sẽ gửi hóa đơn lần nữa.

Hãy gán cho mỗi lệnh gọi có tác dụng phụ một idempotency key tạo từ tác vụ và bước, kiểm tra nó trước khi thực hiện, và bỏ qua lệnh gọi nếu đã được ghi nhận:

def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result

Nhiều API thanh toán và nhắn tin chấp nhận header idempotency key. Khi có, hãy truyền key của bạn qua.

5. Checkpoint cho agent như thế nào?

Lưu sau mỗi bước hoàn tất: danh sách message, số thứ tự bước và các key của tác dụng phụ. Khi khởi động, tải checkpoint mới nhất nếu có.

def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem

Ghi vào file tạm rồi đổi tên nghĩa là nếu sập giữa chừng khi đang ghi, bạn sẽ không bao giờ bị một checkpoint dở dang. Với các phiên rất dài, hãy checkpoint cả một bản tóm tắt: thay các lượt cũ bằng một tóm tắt ngắn để agent tiếp tục không phải tải lại một lịch sử khổng lồ. Điều đó giữ bạn trong context window, kể cả ở 1.048.576 token trên DeepSeek V4.1 Flash.

Danh sách kiểm tra trước khi chạy qua đêm

  1. Đặt rõ timeout và max_retries trên client.
  2. Bật streaming kèm include_usage, và retry các stream chưa hoàn chỉnh.
  3. Ngân sách retry cho mỗi tác vụ và một giới hạn thời gian thực.
  4. Idempotency key cho mọi tool có ghi, gửi hoặc thanh toán.
  5. Checkpoint sau mỗi bước, ghi theo cách nguyên tử.
  6. Log có số thứ tự bước, thời gian, token và X-Request-ID.

Nếu bạn chạy nhiều agent song song, hãy đọc chạy song song nhiều coding agent với giá cố định và chi phí của hệ thống multi-agent.

BroadNet Inference phù hợp ở đâu

BroadNet Inference dùng streaming chat completions tiêu chuẩn, trả về header X-Request-ID để bạn ghi log, và có tài liệu về những lỗi nên retry, nên các mẫu ở trên hoạt động đúng như viết. Với agent chạy cả ngày, các gói không giới hạn bỏ đồng hồ đo token trên DeepSeek V4.1 Flash với giá $60 mỗi tháng cho mỗi phiên, nên retry trở thành miễn phí. Lưu ý rằng một giờ Meteor kết thúc một giờ sau khi mua và một tuần Orbit kết thúc sau bảy ngày, nên một tác vụ dài phải xong trong thời hạn đó hoặc chuyển sang một phiên Full Moon tự gia hạn. Các gói có tại inference.broadnet.ai/plans.

Câu hỏi thường gặp

Nên đặt timeout bao nhiêu cho lệnh gọi API LLM trong agent?

Đủ dài cho lệnh gọi hợp lệ chậm nhất, đủ ngắn để bắt được lệnh gọi bị treo. OpenAI Python SDK mặc định 10 phút. Nhiều agent dùng 2 đến 5 phút mỗi lệnh gọi kèm streaming, và một giới hạn thời gian thực riêng cho mỗi tác vụ.

Agent nên retry những lỗi API LLM nào?

Retry lỗi kết nối, 429 và 5xx với exponential backoff có giới hạn và jitter. Với 400, 401, 402, 403, 413 và 422 thì hãy sửa thay vì retry. Trên BroadNet, hãy ghi lại cả header X-Request-ID cho mỗi lần lỗi.

Retry một chat completion có an toàn không?

Bản thân lệnh gọi model không có tác dụng phụ, nên có, nhưng đó là một lần inference mới và bị tính phí lại khi trả theo mức dùng. Nguy hiểm nằm ở tool. Một bước được retry có thể gửi email hai lần nếu tool không dùng idempotency key.

Làm sao để agent tiếp tục sau khi bị sập?

Lưu danh sách message và số thứ tự bước sau mỗi bước hoàn tất, ghi ID tác dụng phụ trước khi thực hiện, và tải lại chúng khi khởi động. Agent sẽ tiếp tục từ bước được lưu gần nhất.

Agent chạy dài có cần gói không giới hạn không?

Không bắt buộc, nhưng khi trả theo mức dùng thì retry và context dài sẽ cộng dồn. Trên các gói không giới hạn của BroadNet, DeepSeek V4.1 Flash không đo token, nên retry không tốn thêm, dù mỗi phiên vẫn chỉ chạy một request mỗi lúc.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity