BroadRouter

Giới hạn chi tiêu (spend limit)

Cập nhật

Giới hạn chi tiêu (spend limit) là mức trần số tiền một tài khoản, project hoặc key API được tiêu trong một kỳ, thường là một tháng. Khi chạm mức này, nhà cung cấp từ chối request tiếp theo, thường bằng lỗi HTTP 429 hoặc 400, cho đến khi sang kỳ mới hoặc giới hạn được nâng.

Còn gọi là: spend limit là gì, giới hạn chi tiêu API, hạn mức chi tiêu, trần ngân sách, giới hạn sử dụng, spending limit, spend cap, budget cap, usage cap

Giới hạn tần suất kiểm soát bạn tiêu nhanh đến đâu. Giới hạn chi tiêu kiểm soát bạn tiêu bao nhiêu.

Cách hoạt động

Nhà cung cấp xếp chồng nhiều mức trần. Hai ví dụ có tài liệu:

Nhà cung cấp Cơ chế kiểm soát Điều xảy ra khi chạm
Anthropic Mức trần chi tiêu theo tier mỗi tháng dương lịch (Start, Build, Scale; Custom không có) Tạm dừng sử dụng đến 00:00 UTC ngày đầu tháng sau; HTTP 429 rate_limit_error với error.details.error_code là enforced_spend_limit_reached, không có retry-after
Anthropic Giới hạn thấp hơn do bạn tự đặt, cho organisation hoặc workspace HTTP 400 invalid_request_error, thông báo bắt đầu bằng “You have reached your specified API usage limits”
OpenAI Giới hạn sử dụng hằng tháng theo tier Hướng dẫn không mô tả
OpenAI Cảnh báo chi tiêu Gửi thông báo; lưu lượng vẫn chạy
OpenAI Hard spend limit, cho organisation hoặc project Các request bị ảnh hưởng trả về 429

Mức trần theo tier của Anthropic là USD 500 (Start), USD 1.000 (Build) và USD 200.000 (Scale) mỗi tháng. Hướng dẫn của OpenAI liệt kê giới hạn sử dụng hằng tháng theo tier, từ USD 100 ở Free đến USD 200.000 ở Grow, và cho biết tier tăng lên khi tổng số credit đã mua vượt các ngưỡng.

Điểm khó là lỗi 429 do giới hạn chi tiêu trông giống hệt lỗi 429 do giới hạn tần suất. Trên API của Anthropic, mã lỗi giúp phân biệt hai loại, và response do mức trần chi tiêu không có header retry-after:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Vì sao quan trọng

  • Cảnh báo luôn đến muộn. Một vòng lặp chạy nhanh có thể tiêu rất nhiều trước khi email kịp đến. Một mức trần cứng sẽ chặn nó lại.
  • Thử lại làm mọi thứ tệ hơn. Một client backoff rồi thử lại với mọi lỗi 429 sẽ gõ vào mức trần chi tiêu một cách vô ích. Hãy phân biệt hai loại lỗi.
  • Mức trần dùng chung. Mức trần cấp tài khoản dùng chung cho nhiều ứng dụng khiến một job chạy mất kiểm soát có thể chặn tất cả các ứng dụng khác. Ngân sách theo project hoặc ngân sách tự kiểm trong code giúp tách chúng ra.

Trên BroadNet Inference

Tài liệu tham khảo API của BroadNet liệt kê sáu giới hạn cho một key trả theo mức dùng. Ba giới hạn ràng buộc chi phí và thông lượng là 30 request mỗi phút, 4 request đang chạy, và chi tiêu, được định nghĩa là “the native budget shared by the account’s pay-as-you-go keys” (Bản dịch: ngân sách native dùng chung giữa các key trả theo mức dùng của tài khoản); các giới hạn còn lại là model được phép, thời hạn key một năm và tối đa mười key đang hoạt động mỗi tài khoản. Tài khoản là trả trước, nên số dư là mức trần ngoài cùng. Hai status code quan trọng:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (Bản dịch: Đã chạm giới hạn tần suất, đồng thời, tốc độ token hoặc chi tiêu.)
  • 401: key thiếu, không hợp lệ hoặc hết hạn, hoặc tài khoản có ngân sách trả theo mức dùng dùng chung bị chặn (tài liệu dùng cụm “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (Bản dịch: bao gồm cả trường hợp đã dùng hết hạn mức PAYG).

Trang quyền riêng tư của BroadNet nói key có phạm vi theo model, tần suất và chi tiêu, nhưng tài liệu tham khảo API không có thiết lập ngân sách theo key hay theo project, nên hãy tự kiểm tra ngân sách đang chạy trong code trước mỗi request, như trong kiểm soát chi tiêu API LLM. Để cố định kịch bản xấu nhất, một gói giá cố định hoặc key theo giờ với giá $0.50 mỗi giờ giới hạn chi tiêu ngay từ thiết kế. Cách xử lý thử lại có trong hướng dẫn lỗi và thử lại.

Câu hỏi thường gặp

Có nên thử lại request đã chạm giới hạn chi tiêu không?

Không. Anthropic cho biết lỗi 429 do mức trần chi tiêu không có header retry-after, và mọi lần thử lại đều thất bại cho đến khi quyền truy cập được khôi phục. Hãy báo cho người phụ trách hoặc dừng job.

Cảnh báo chi tiêu có giống giới hạn chi tiêu không?

Không. OpenAI phân biệt cảnh báo chi tiêu (spend alert), chỉ gửi thông báo và vẫn cho lưu lượng chạy tiếp, với hard spend limit, khiến request trả về 429.

Có đặt được ngân sách riêng cho từng key BroadNet không?

Trang quyền riêng tư của BroadNet nói key API có phạm vi kiểm soát truy cập theo model, tần suất và chi tiêu, nhưng tài liệu tham khảo API mô tả chi tiêu của key trả theo mức dùng là ngân sách native dùng chung giữa các key của tài khoản, và không có thiết lập ngân sách theo key. Hãy kiểm tra thông tin key, và tự áp ngân sách cho từng ứng dụng trong code.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity