BroadRouter

Giới hạn tần suất (rate limit)

Cập nhật

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

Còn gọi là: giới hạn tần suất, giới hạn request, lỗi 429, request mỗi phút, token mỗi phút, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

API dùng chung nào cũng tự bảo vệ bằng các giới hạn. Biết giới hạn nào đang áp dụng cho bạn biết mình có thể chạy nhanh đến đâu và phải làm gì khi chạm giới hạn.

Cách hoạt động

API LLM đo nhiều thứ cùng lúc. Ví dụ, OpenAI liệt kê:

  • RPM: request mỗi phút
  • RPD: request mỗi ngày
  • TPM: token mỗi phút
  • TPD: token mỗi ngày

Giới hạn nào chạm trước thì áp dụng giới hạn đó. Nhiều nhà cung cấp còn giới hạn số request đồng thời, tức số request đang được xử lý.

Khi vượt giới hạn, server trả về 429 Too Many Requests. MDN mô tả lỗi này là client đã “sent too many requests in a given amount of time.” (Bản dịch: gửi quá nhiều request trong một khoảng thời gian nhất định). Header Retry-After có thể cho biết cần chờ bao nhiêu giây.

Một vòng lặp thử lại an toàn:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

Các OpenAI SDK chính thức vốn đã thử lại lỗi 429 và 5xx với backoff; hãy đặt max_retries thay vì tự viết vòng lặp.

Vì sao quan trọng

  • Thông lượng. Mức trần thực tế của bạn là giới hạn thấp nhất trong tất cả. Với một key giới hạn 30 request mỗi phút, như key trả theo mức dùng của BroadNet, 1.000 request mất ít nhất 1.000 ÷ 30 phút, dù model nhanh đến đâu. Công cụ tính rate limit tính giúp bạn với các giới hạn của riêng bạn.
  • Độ tin cậy. Lỗi 429 không được xử lý trông giống như sự cố ngừng dịch vụ. Backoff biến chúng thành những lần chậm trễ ngắn.
  • Chi phí. Một số nhà cung cấp cũng trả về 429 khi chạm giới hạn chi tiêu, điều thường gặp với key trả theo mức dùng. Hãy đọc nội dung lỗi trước khi thử lại.

Trên BroadNet Inference

Loại key Giới hạn
Trả theo mức dùng 30 request mỗi phút, 4 request đồng thời
Key theo giờ 120 request mỗi phút, một luồng, 300,000 token mỗi phút
Gói không giới hạn Một request tại một thời điểm cho mỗi phiên, không có đồng hồ đo token

BroadNet trả về 429 khi chạm giới hạn tần suất, giới hạn đồng thời, giới hạn token mỗi phút hoặc giới hạn chi tiêu. Hãy tạm dừng rồi thử lại. Hướng dẫn lỗi và thử lại đề cập mọi mã trạng thái, và bài “không giới hạn” thực sự nghĩa là gì giải thích những giới hạn mà gói giá cố định vẫn có.

Lỗi thường gặp

  • Thử lại lỗi 401 hoặc 403. Đó là vấn đề về key hoặc chính sách, không phải giới hạn tần suất.
  • Chạy nhiều worker trên một key mà không có bộ giới hạn dùng chung. Mỗi worker tự backoff riêng trong khi các worker khác vẫn giữ key ở mức bão hòa.

Câu hỏi thường gặp

Có nên thử lại khi gặp lỗi 429 không?

Có, sau khi chờ. Làm theo header Retry-After nếu có; nếu không, hãy dùng exponential backoff kèm độ trễ ngẫu nhiên (jitter) và giới hạn số lần thử. Đừng thử lại các lỗi giới hạn chi tiêu hoặc thanh toán dùng chung mã trạng thái này.

Request bị lỗi có tính vào giới hạn không?

Thường là có. Hướng dẫn của OpenAI cho biết request thất bại vẫn được tính vào giới hạn theo phút, nên thử lại ngay lập tức trong một vòng lặp chỉ làm tình hình tệ hơn.

Giới hạn tần suất khác giới hạn đồng thời thế nào?

Giới hạn tần suất đếm request hoặc token theo thời gian. Giới hạn đồng thời đếm số request đang chạy cùng một lúc. Một key có thể chạm giới hạn nào trước cũng được.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity