Giới hạn tốc độ đếm request theo thời gian. Concurrency đếm request tại một thời điểm. Request LLM có thể mất nhiều giây, nên giới hạn thứ hai thường chạm tới trước.
Cách hoạt động
Định luật Little liên kết ba con số:
requests in flight = request rate × average time per request
Nghĩa là số request đang xử lý bằng tốc độ gửi request nhân với thời gian trung bình của mỗi request. Lấy một key giả định cho phép 5 request đang xử lý và 60 request mỗi phút, trong đó mỗi request mất 20 giây. Giới hạn concurrency chỉ cho tối đa 5 ÷ 20 = 0,25 request mỗi giây, tức 15 mỗi phút. Bạn không bao giờ đạt 60 mỗi phút, vì concurrency mới là giới hạn ràng buộc. Với request 2 giây, cùng giới hạn đó cho 150 mỗi phút, và lúc này giới hạn tốc độ mới là ràng buộc. Công cụ tính giới hạn tốc độ làm phép tính này với số liệu của bạn.
Đầu ra dài, token suy luận và prompt dài đều làm request lâu hơn, nên chúng tiêu hao concurrency nhanh hơn. Một câu trả lời dạng stream giữ suất của nó cho tới khi kết thúc.
Vì sao quan trọng
Nhà cung cấp giới hạn concurrency vì bộ nhớ và năng lực tính toán GPU được dùng chung. Benchmark của NVIDIA cho thấy khi concurrency trên một server tăng, tổng đầu ra tăng còn số token mỗi giây của từng request giảm. Giới hạn theo key giúp một client không làm chậm tất cả mọi người.
Với ứng dụng của bạn, concurrency quyết định kích thước pool worker và số agent chạy song song được. Đặt pool bằng giới hạn, không vượt quá, nếu không các worker thừa chỉ toàn nhận lỗi 429.
Trên BroadNet Inference
| Hình thức truy cập | Concurrency |
|---|---|
| Key trả theo mức dùng | 4 request đang xử lý cùng lúc, cộng 30 request mỗi phút |
| Key theo giờ | Một luồng |
| Gói không giới hạn | Mỗi session một request tại một thời điểm |
Các gói bán concurrency một cách trực tiếp. Một session không có đồng hồ đo token và chạy một request tại một thời điểm, đúng cách một agent làm việc. Các request trong cùng session xếp hàng nối tiếp nhau. Để chạy agent song song, mua mỗi agent một session: một orchestrator cộng ba sub-agent cần bốn session. Một key có thể chứa nhiều session.
Đọc session không giới hạn hoạt động thế nào và cách chạy coding agent song song với gói giá cố định. Agent dành nhiều thời gian chạy tool, nên hãy đo mức chồng lấn thực tế trước khi mua thêm session.
Lỗi thường gặp
- Khởi động mỗi tác vụ một worker mà không có pool. Một lô 100 tác vụ thành 100 request cùng lúc.
- Đặt timeout phía client ngắn hơn một câu trả lời suy luận dài. Client bỏ cuộc trong khi suất vẫn đang bận.