BroadRouter
Bắt đầu

Concurrency (request đồng thời)

Cập nhật

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

Còn gọi là: request đồng thời, số request đồng thời, request song song, giới hạn đồng thời, xử lý đồng thời, concurrent requests, parallel requests, in-flight requests, concurrency limit

Giới hạn tốc độ đếm request theo thời gian. Concurrency đếm request tại một thời điểm. Request LLM có thể mất nhiều giây, nên giới hạn thứ hai thường chạm tới trước.

Cách hoạt động

Định luật Little liên kết ba con số:

requests in flight = request rate × average time per request

Nghĩa là số request đang xử lý bằng tốc độ gửi request nhân với thời gian trung bình của mỗi request. Lấy một key giả định cho phép 5 request đang xử lý và 60 request mỗi phút, trong đó mỗi request mất 20 giây. Giới hạn concurrency chỉ cho tối đa 5 ÷ 20 = 0,25 request mỗi giây, tức 15 mỗi phút. Bạn không bao giờ đạt 60 mỗi phút, vì concurrency mới là giới hạn ràng buộc. Với request 2 giây, cùng giới hạn đó cho 150 mỗi phút, và lúc này giới hạn tốc độ mới là ràng buộc. Công cụ tính giới hạn tốc độ làm phép tính này với số liệu của bạn.

Đầu ra dài, token suy luận và prompt dài đều làm request lâu hơn, nên chúng tiêu hao concurrency nhanh hơn. Một câu trả lời dạng stream giữ suất của nó cho tới khi kết thúc.

Vì sao quan trọng

Nhà cung cấp giới hạn concurrency vì bộ nhớ và năng lực tính toán GPU được dùng chung. Benchmark của NVIDIA cho thấy khi concurrency trên một server tăng, tổng đầu ra tăng còn số token mỗi giây của từng request giảm. Giới hạn theo key giúp một client không làm chậm tất cả mọi người.

Với ứng dụng của bạn, concurrency quyết định kích thước pool worker và số agent chạy song song được. Đặt pool bằng giới hạn, không vượt quá, nếu không các worker thừa chỉ toàn nhận lỗi 429.

Trên BroadNet Inference

Hình thức truy cập Concurrency
Key trả theo mức dùng 4 request đang xử lý cùng lúc, cộng 30 request mỗi phút
Key theo giờ Một luồng
Gói không giới hạn Mỗi session một request tại một thời điểm

Các gói bán concurrency một cách trực tiếp. Một session không có đồng hồ đo token và chạy một request tại một thời điểm, đúng cách một agent làm việc. Các request trong cùng session xếp hàng nối tiếp nhau. Để chạy agent song song, mua mỗi agent một session: một orchestrator cộng ba sub-agent cần bốn session. Một key có thể chứa nhiều session.

Đọc session không giới hạn hoạt động thế nào và cách chạy coding agent song song với gói giá cố định. Agent dành nhiều thời gian chạy tool, nên hãy đo mức chồng lấn thực tế trước khi mua thêm session.

Lỗi thường gặp

  • Khởi động mỗi tác vụ một worker mà không có pool. Một lô 100 tác vụ thành 100 request cùng lúc.
  • Đặt timeout phía client ngắn hơn một câu trả lời suy luận dài. Client bỏ cuộc trong khi suất vẫn đang bận.

Câu hỏi thường gặp

Chuyện gì xảy ra khi tôi vượt giới hạn concurrency?

Tùy nhà cung cấp, request thừa sẽ bị từ chối, thường với mã 429, hoặc phải chờ trong hàng đợi cho tới khi có suất trống.

Streaming có chiếm một suất concurrency không?

Có. Một response dạng stream giữ suất của nó cho tới khi chunk cuối cùng tới, nên đầu ra dài giữ suất bận lâu hơn.

Một AI coding agent cần bao nhiêu request đồng thời?

Một agent thường cần một, vì nó chờ từng câu trả lời trước bước tiếp theo. Một orchestrator chạy ba sub-agent cùng lúc cần tối đa bốn. Cần bốn nếu orchestrator vẫn gửi request trong lúc chúng chạy, và ba nếu nó chỉ chờ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity