BroadRouter
Bắt đầu

Throughput (thông lượng)

Cập nhật

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

Còn gọi là: thông lượng, thông lượng LLM, thông lượng hệ thống, tổng token mỗi giây, request mỗi giây, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Số token mỗi giây cho bạn biết một câu trả lời stream nhanh đến đâu. Thông lượng cho bạn biết cả hệ thống làm được bao nhiêu việc.

Cách hoạt động

Hướng dẫn benchmark của NVIDIA tách riêng hai khái niệm. Tổng TPS của hệ thống là “total output token throughput across all simultaneous requests” (Bản dịch: tổng thông lượng token đầu ra trên mọi request đồng thời): toàn bộ token đầu ra chia cho thời gian từ request đầu tiên tới response cuối cùng. TPS mỗi người dùng là độ dài đầu ra của một request chia cho thời gian đầu-cuối của nó. Request mỗi giây (RPS) đếm số request hoàn thành thay vì token.

Câu then chốt: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Bản dịch: khi số request đồng thời tăng, tổng TPS của hệ thống tăng trong khi TPS mỗi người dùng giảm). Tổng TPS tăng cho tới khi GPU bão hòa, và qua ngưỡng đó nó có thể giảm.

Ở phía server, giới hạn thường là bộ nhớ. Bài báo PagedAttention giải thích rằng phục vụ với thông lượng cao “requires batching sufficiently many requests at a time” (Bản dịch: đòi hỏi gom đủ nhiều request thành batch cùng lúc), và KV cache của mỗi request quyết định chứa được bao nhiêu. Quản lý bộ nhớ tốt hơn giúp vLLM đạt thông lượng gấp 2 đến 4 lần các hệ thống trước đó ở cùng mức độ trễ.

Vì sao quan trọng

Với bên gọi API, thông lượng là chuyện ở phía đầu ống của bạn: xử lý được bao nhiêu tài liệu mỗi giờ, hay bao nhiêu agent làm việc cùng lúc. Nó theo một quy tắc đơn giản:

your throughput ≈ concurrent requests × per-stream tokens per second

Tức là thông lượng của bạn xấp xỉ số request đồng thời nhân với số token mỗi giây của từng luồng. Điều này chỉ đúng khi nhà cung cấp giữ tốc độ từng luồng ổn định lúc bạn tăng tải. Hãy đo; đừng mặc định.

Thông lượng bị giới hạn bởi concurrency và giới hạn tốc độ của bạn, không chỉ bởi model. Nếu một tác vụ chậm, hãy kiểm tra xem các request có đang chạy lần lượt trong khi lẽ ra có thể chạy song song không.

Trên BroadNet Inference

BroadNet công bố giới hạn theo key, không công bố con số thông lượng hệ thống. Trang gói nêu tốc độ thông thường khoảng 100 token mỗi giây cho DeepSeek V4.1 Flash, model của gói; không có số liệu tốc độ cho các model khác. Để minh họa, nếu mỗi luồng chạy ở mức đó:

Lựa chọn Request song song Mức trần nếu tốc độ giữ nguyên
Key trả theo mức dùng 4 (và 30 request mỗi phút) 4 luồng × khoảng 100 token mỗi giây mỗi luồng
Key theo giờ (Gemma 4 VL 26B) 1 luồng, 300,000 token mỗi phút không công bố; hãy tự đo
Session gói cố định 1 request tại một thời điểm khoảng 100 token mỗi giây

Để mở rộng gói cố định, bạn thêm session, mỗi agent làm việc song song một session; xem session API LLM không giới hạn và chạy coding agent song song. Tốc độ đó là con số thông thường mà BroadNet nêu cho DeepSeek V4.1 Flash, không phải cam kết cho model khác hay khi tải cao.

Câu hỏi thường gặp

Thông lượng có giống số token mỗi giây không?

Chỉ ở cấp hệ thống. Số token mỗi giây của từng luồng là tốc độ mà một request thấy được. Thông lượng cộng dồn mọi luồng. NVIDIA gọi chúng là TPS mỗi người dùng và tổng TPS của hệ thống.

Làm sao tăng thông lượng khi dùng API LLM?

Chạy nhiều request song song hơn, trong phạm vi giới hạn concurrency và giới hạn tốc độ, và giữ mỗi request ngắn. Nếu mỗi request đã dùng hết suất của nó, thêm suất, key hoặc session là cách duy nhất để tăng.

Thông lượng cao hơn có nghĩa độ trễ thấp hơn không?

Không. Thông lượng là tổng công việc mỗi giây trên mọi request; độ trễ là thời gian một request mất. Phục vụ nhiều request cùng lúc làm tăng tổng thông lượng nhưng có thể làm từng request chậm đi, vì vậy NVIDIA báo cáo riêng TPS mỗi người dùng và tổng TPS.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity