Độ trễ là con số người dùng cảm nhận được. Đó cũng là con số hay khiến các đội bất ngờ nhất khi chuyển từ bản demo sang production.
Cách hoạt động
Hướng dẫn chỉ số của NVIDIA đưa ra công thức cốt lõi cho một request:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Nghĩa là độ trễ end-to-end bằng TTFT cộng thời gian sinh, còn độ trễ giữa các token (ITL) bằng độ trễ end-to-end trừ TTFT, chia cho số token đầu ra trừ một.
Thời gian tới token đầu tiên bao gồm mạng, hàng đợi và việc đọc prompt. Thời gian sinh là mọi thứ sau token đầu tiên: (số token đầu ra − 1) × độ trễ giữa các token (ITL), hay xấp xỉ số token đầu ra × ITL với câu trả lời dài. Theo NVIDIA, độ trễ end-to-end “includes queueing, batching, and network latency.” (Bản dịch: bao gồm hàng đợi, batching và độ trễ mạng).
Một ví dụ với số tròn: giả sử model stream 50 token đầu ra mỗi giây. Một câu trả lời 600 token mất 600 ÷ 50 = 12 giây để sinh. Cộng thêm một giây TTFT, request mất khoảng 13 giây. Cắt đôi câu trả lời thì tiết kiệm 6 giây; cắt đôi TTFT thì tiết kiệm nửa giây. Ở đây, độ dài đầu ra chiếm phần lớn.
Trong một ứng dụng, hiếm khi một request đứng một mình. Độ trễ trên màn hình người dùng còn gồm cả các lần thử lại sau lỗi, thời gian chờ một suất request đồng thời, các lệnh gọi tool giữa các lượt của model và chính code của bạn.
Vì sao quan trọng
Hướng dẫn về độ trễ của OpenAI nêu bảy nguyên tắc: xử lý token nhanh hơn, sinh ít token hơn, dùng ít token đầu vào hơn, gửi ít request hơn, chạy song song, để người dùng chờ ít hơn, và đừng mặc định dùng LLM. Phần lớn là lựa chọn thiết kế, không phải lựa chọn nhà cung cấp.
Hãy báo cáo theo percentile. p50 là 4 giây với p95 là 30 giây nghĩa là cứ hai mươi người dùng thì một người chờ nửa phút hoặc lâu hơn. Giá trị trung bình che mất phần đuôi đó, và timeout được đặt theo chính phần đuôi này.
Độ trễ và thông lượng kéo về hai phía ngược nhau. NVIDIA lưu ý rằng khi số request đồng thời tăng, tổng số token mỗi giây của hệ thống tăng trong khi số token mỗi giây của từng người dùng giảm. Một nhà cung cấp bận rộn có thể phục vụ nhiều người hơn mà vẫn cảm thấy chậm hơn với từng người.
Trên BroadNet Inference
Trang gói của BroadNet nêu tốc độ thông thường là khoảng 100 token mỗi giây. Tài liệu không công bố số liệu TTFT hay độ trễ theo percentile. Một key trả theo mức dùng cho phép 4 request đang xử lý cùng lúc; tài liệu liệt kê giới hạn đồng thời là một trong các nguyên nhân gây HTTP 429, và mỗi lần thử lại sau lỗi đó đều làm tăng độ trễ phía bạn. Các lần chạy agent dài nên đặt timeout và số lần thử lại có giới hạn; xem timeout và thử lại cho agent chạy lâu. Để đo từng phần từ phía client, xem hướng dẫn độ trễ LLM.