BroadRouter
Bắt đầu

Exponential backoff (lùi thời gian theo cấp số nhân)

Cập nhật

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

Còn gọi là: exponential backoff là gì, backoff lũy thừa, thử lại với backoff, backoff và jitter, jitter, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Khi một API bảo “chậm lại”, thử lại ngay lập tức chỉ làm mọi thứ tệ hơn. Exponential backoff chờ lâu hơn sau mỗi lần.

Cách hoạt động

Sau một lần thất bại, chờ một độ trễ cơ bản, rồi nhân đôi nó sau mỗi lần thất bại mới, tới một mức tối đa. Với độ trễ cơ bản 1 giây và trần 32 giây, các lần chờ là 1, 2, 4, 8, 16, 32, 32 giây. Dừng lại sau một số lần thử cố định và báo lỗi ra ngoài.

Chỉ backoff thôi chưa đủ. Nếu 100 client thất bại cùng một lúc, chúng cũng sẽ thử lại cùng những thời điểm. Bài viết trên AWS của Marc Brooker so sánh “Full Jitter” (chờ ngẫu nhiên từ 0 tới mức trần hiện tại), “Equal Jitter” và “Decorrelated Jitter”. Equal Jitter yếu nhất, còn Full Jitter “uses less work, but slightly more time.” (Bản dịch: tốn ít công việc hơn, nhưng mất thời gian hơn một chút). Kết luận của ông: backoff kèm jitter “should be considered a standard approach for remote clients.” (Bản dịch: nên được coi là cách làm chuẩn cho các client từ xa).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Vì sao quan trọng

  • Lỗi 429 cũng bị tính. Hướng dẫn giới hạn tốc độ của OpenAI cảnh báo “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (Bản dịch: các request thất bại vẫn được tính vào giới hạn mỗi phút, nên liên tục gửi lại một request sẽ không có tác dụng). Dội liên tục vào một giới hạn tốc độ chỉ khiến bạn bị chặn lâu hơn.
  • Thử lại nhân lên. AWS Builders’ Library lưu ý rằng thử lại là “selfish” (Bản dịch: ích kỷ) và khuyên chỉ thử lại ở một điểm duy nhất trong stack; thử lại ở mọi tầng có thể nhân tải lên nhiều lần.
  • Tác dụng phụ. Thử lại một lệnh gọi có tính tiền chỉ an toàn khi có idempotency key.
  • Phòng hơn thử lại. Giới hạn số request đang xử lý dưới mức concurrency cho phép để ngay từ đầu lỗi 429 đã hiếm.

Trên BroadNet Inference

Bảng lỗi của BroadNet dặn xử lý 429 bằng “response details and bounded backoff” (Bản dịch: chi tiết response và backoff có giới hạn) và thử lại 500, 502, 503 và 504 “with bounded exponential backoff.” (Bản dịch: với exponential backoff có giới hạn). Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Với 400, 401, 403, 413 và 422, hãy sửa nguyên nhân trước. Giữ header X-Request-ID để gửi bộ phận hỗ trợ. Hướng dẫn lỗi và thử lại đặt số lần thử lại của SDK, và cách xử lý lỗi 429 của API LLM có code cho bộ giới hạn và hàng đợi. Công cụ tính giới hạn tốc độ cho thấy bao nhiêu lưu lượng vừa trong một giới hạn.

Câu hỏi thường gặp

Những lỗi nào nên thử lại với backoff?

Giới hạn tốc độ (429), lỗi server (5xx), timeout và kết nối bị ngắt. Đừng thử lại nguyên trạng với 400, 401, 403, 413 hay 422; hãy sửa request hoặc key trước.

Vì sao phải thêm jitter?

Không có jitter, các client thất bại cùng lúc sẽ thử lại cùng lúc và làm server quá tải lần nữa. Jitter làm ngẫu nhiên mỗi lần chờ để các lần thử lại được dàn trải.

SDK của OpenAI đã có sẵn backoff chưa?

Có. Các SDK chính thức của OpenAI thử lại lỗi kết nối, response 429 và 5xx với exponential backoff ngắn. Hãy đặt max_retries một cách tường minh, cao hơn cho các tác vụ batch dài, và thêm bộ giới hạn của riêng bạn ở trên.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity