Một request chat làm hai việc khác nhau: đọc prompt, rồi viết câu trả lời. Kỹ sư inference gọi chúng là prefill và decode, và hai giai đoạn này hoạt động rất khác nhau trên GPU.
Cách hoạt động
- Prefill. Model đọc mọi token của prompt trong một lượt song song và lưu key và value attention của từng token vào KV cache. Chưa có gì được trả về.
- Decode. Model sinh một token, thêm key và value của nó vào cache, và lặp lại cho tới khi dừng hoặc chạm
max_tokens.
Bài báo Sarathi-Serve nói rõ sự tương phản: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Bản dịch: các vòng prefill có độ trễ cao nhưng tận dụng hết năng lực tính toán của GPU nhờ xử lý song song prompt đầu vào), trong khi “decode iterations have low latency but also low compute utilization.” (Bản dịch: các vòng decode có độ trễ thấp nhưng mức sử dụng tính toán cũng thấp.)
Hai giai đoạn ứng với hai con số độ trễ mà người dùng cảm nhận. Bài báo DistServe gọi tên chúng: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Bản dịch: thời gian tới token đầu tiên (TTFT) cho giai đoạn prefill và thời gian cho mỗi token đầu ra (TPOT) của từng request cho giai đoạn decoding.)
Một ví dụ cụ thể: request có prompt 20.000 token và câu trả lời 300 token phải prefill cả 20.000 token trước khi token stream đầu tiên xuất hiện, rồi chạy 300 bước decode tuần tự. Cắt prompt đi một nửa sẽ rút ngắn thời gian chờ token đầu tiên; nó không thay đổi tốc độ 300 token kia đến.
Vì sao quan trọng
- Time to first token đi theo kích thước prompt. System prompt dài, tài liệu và danh sách tool đều làm tăng việc prefill. Prefix đã cache bỏ qua được một phần, đó là lý do token đầu vào từ cache có thể giúp prompt dài bắt đầu nhanh hơn.
- Số token mỗi giây là con số của decode. Tốc độ đầu ra phụ thuộc vào mỗi bước decode chạy nhanh đến đâu, và speculative decoding là kỹ thuật nhằm tăng con số này.
- Hai giai đoạn cản trở nhau. Khi máy chủ chạy cả hai trên cùng GPU, một lần prefill lớn có thể làm tạm dừng decode của người dùng khác. DistServe báo cáo “strong prefill-decoding interferences” (Bản dịch: nhiễu mạnh giữa prefill và decoding) và tách hai giai đoạn sang các GPU khác nhau. Sarathi-Serve thì “splits a prefill request into near equal sized chunks” (Bản dịch: chia một request prefill thành các phần gần bằng nhau) và lập lịch chúng “without pausing ongoing decodes” (Bản dịch: mà không tạm dừng các decode đang chạy).
- Engine cho bạn chỉnh sự đánh đổi. Hướng dẫn tinh chỉnh của vLLM nói chunked prefill cho phép gộp các phần prefill với request decode trong cùng batch.
max_num_batched_tokensnhỏ hơn cải thiện độ trễ giữa các token, còn giá trị lớn hơn có lợi cho TTFT và throughput.
Hướng dẫn về độ trễ, TTFT và throughput chỉ cách đo cả hai giai đoạn từ phía client.
Trên BroadNet Inference
BroadNet không công bố cách máy chủ của họ lập lịch prefill và decode. Những gì bạn thấy được là kết quả: stream một phản hồi như trong hướng dẫn streaming, ghi lại thời gian tới chunk nội dung đầu tiên (chủ yếu là prefill cộng thời gian xếp hàng) và tốc độ các chunk sau đó (decode). Trên GLM 5.3, DeepSeek V4.1 Flash và Qwen3.8 27B, token suy luận cũng được sinh ở giai đoạn decode, nên chúng làm chậm câu trả lời hiển thị và được tính vào max_tokens.
Lỗi thường gặp
- Đổ lỗi token đầu tiên chậm cho tốc độ đầu ra của model. Hãy kiểm tra độ dài prompt trước.
- Benchmark bằng một prompt rất ngắn. Prompt thật có context dài sẽ có prefill dài hơn nhiều.