Tốc độ có hai phần: bao lâu trước khi có gì đó hiện ra, và sau đó chữ chảy ra nhanh đến đâu. Số token mỗi giây đo phần thứ hai.
Cách hoạt động
Tài liệu benchmark của NVIDIA định nghĩa các chỉ số liên quan:
- Thời gian tới token đầu tiên (TTFT): từ lúc gửi request tới lúc nhận token đầu tiên. Nó tăng theo độ dài prompt.
- Độ trễ giữa các token (ITL): khoảng cách trung bình giữa các token đầu ra.
- TPS mỗi người dùng: số token đầu ra của một request chia cho thời gian đầu-cuối của nó, nên theo định nghĩa của NVIDIA nó bao gồm TTFT. Nhiều dashboard thì ghi tốc độ decode sau token đầu tiên, như trang này.
- TPS hệ thống: tổng token đầu ra trên mọi request đồng thời, còn gọi là thông lượng.
Chúng kéo về hai hướng ngược nhau. NVIDIA lưu ý khi concurrency tăng, TPS hệ thống tăng còn TPS mỗi người dùng giảm. Con số quảng cáo của nhà cung cấp và tốc độ của một request đơn lẻ của bạn có thể đều trung thực mà vẫn khác nhau.
Ước tính nhanh cho một câu trả lời:
total time ≈ TTFT + output tokens ÷ tokens per second
Tức là tổng thời gian xấp xỉ TTFT cộng số token đầu ra chia cho số token mỗi giây. Lấy ví dụ một luồng 50 token mỗi giây: câu trả lời 1.000 token mất khoảng 20 giây sau token đầu tiên. Nếu model còn viết 2.000 token suy luận, cộng thêm khoảng 40 giây trước khi câu trả lời bắt đầu. Thời gian tới token đầu tiên còn phải cộng thêm.
Vì sao quan trọng
- Trải nghiệm người dùng. Streaming hiển thị chữ ngay khi tới, nên TTFT và TPS quyết định câu trả lời có cảm giác nhanh đến đâu.
- Thông lượng của agent. Một coding agent chờ từng câu trả lời trước bước tiếp theo. Đầu ra nhanh hơn nghĩa là nhiều bước hơn mỗi giờ.
- Giới hạn của gói. Với gói không có đồng hồ đo token, tốc độ trở thành mức trần thực sự cho số token bạn dùng được.
Trên BroadNet Inference
Trang gói của BroadNet nêu tốc độ thông thường khoảng 100 token mỗi giây cho DeepSeek V4.1 Flash. Một session trên các gói không giới hạn chạy một request tại một thời điểm, nên với tốc độ đó, một session sinh liên tục không nghỉ trong 30 ngày sẽ tạo ra khoảng 259 triệu token đầu ra. Agent thực tế dành thời gian đọc, chạy tool và chờ đợi, nên con số thực tế thấp hơn.
Để có thêm tổng thông lượng trên một gói, hãy thêm session: mỗi agent làm việc song song một session. Xem session không giới hạn hoạt động thế nào và chạy coding agent song song.
Lỗi thường gặp
- So sánh nhà cung cấp chỉ bằng một request. Hãy đo TTFT và TPS qua nhiều request, với kích thước prompt của chính bạn.
- Quên thời gian suy luận khi đặt timeout phía client.