BroadRouter
Bắt đầu

Speculative decoding (giải mã suy đoán)

Cập nhật

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

Còn gọi là: speculative decoding là gì, giải mã suy đoán, giải mã phỏng đoán, speculative sampling, assisted generation, assisted decoding, draft model decoding

Một model lớn viết một token cho mỗi lượt forward pass. Speculative decoding cho phép nó xác nhận nhiều token trong mỗi lượt.

Cách hoạt động

Leviathan và cộng sự bắt đầu từ một thực tế đơn giản: “decoding K tokens takes K serial runs of the model.” (Bản dịch: giải mã K token cần K lần chạy model nối tiếp nhau.) Giải pháp của họ mượn ý tưởng thực thi suy đoán (speculative execution) từ CPU:

  1. Một model nháp (draft model), nhỏ và nhanh hơn nhiều, đoán vài token tiếp theo.
  2. Model đích (target model) chấm điểm tất cả các dự đoán đó trong một lượt forward pass. Như Chen và cộng sự nhận xét, chấm điểm một chuỗi token ngắn tốn chi phí gần bằng sinh ra một token.
  3. Một bước rejection sampling đã điều chỉnh giữ lại chuỗi dự đoán dài nhất mà model đích đồng ý, rồi model đích tự lấy mẫu thêm một token.
  4. Lặp lại từ vị trí mới.

Khi model nháp thường đoán đúng, mỗi lượt đắt đỏ cho ra nhiều token. Khi đoán sai, bạn mất rất ít: model đích vẫn sinh ra ít nhất một token. Hướng dẫn của Hugging Face nói thêm rằng phương pháp hiệu quả nhất khi model nháp “significantly smaller” (Bản dịch: nhỏ hơn đáng kể) và dùng cùng tokenizer.

Có những biến thể bỏ hẳn model nháp riêng. Cùng hướng dẫn đó mô tả các lớp multi-token prediction (MTP), trong đó các head bổ sung trong checkpoint chính tự sinh ứng viên. Model card của DeepSeek V4.1 Flash liệt kê cơ chế riêng của họ, “DSpark speculative decoding”, là một phần của kiến trúc.

Vì sao quan trọng

Với người gọi API, speculative decoding thể hiện qua số token mỗi giây cao hơn cho từng request, giúp giảm tổng độ trễ với câu trả lời dài. Nó không rút ngắn thời gian tới token đầu tiên, vốn chủ yếu là thời gian đọc prompt.

Mức tăng không đồng đều. Văn bản dễ đoán như sửa code, JSON và đoạn mẫu lặp lại thì dễ viết nháp. Văn bản sáng tạo, temperature cao thì khó hơn, nên ít dự đoán được giữ lại. Khi tải nặng, việc kiểm tra thêm cạnh tranh tài nguyên với các request khác, nên nhà cung cấp có thể tinh chỉnh để ưu tiên tốc độ cho từng người dùng hoặc tổng throughput.

Đây cũng là lựa chọn phía server. Bạn không thể bật nó qua một request chat completions tiêu chuẩn.

Trên BroadNet Inference

Tài liệu tham khảo API của BroadNet không nhắc đến speculative decoding. Danh mục model của BroadNet ghi bản build production Gemma 4 26B A4B, được cung cấp trên API dưới tên BroadNet Gemma 4 VL 26B, chạy với MTP (k=2), mà danh mục mô tả là một dạng speculative decoding. Trang model của BroadNet đưa ra tốc độ khoảng 136 token mỗi giây trên một stream cho bản build này. Danh mục cũng báo cáo EAGLE3 làm giảm 69% throughput ở 32 request đồng thời, đó là lý do BroadNet giữ các drafter MTP, và BroadNet đã công bố hai nghiên cứu về Uno, một adapter tự viết nháp (self-drafting): Uno trong vLLM và Uno trên Gemma 4 26B. Với các gói giá cố định, vốn chạy DeepSeek V4.1 Flash, trang gói của BroadNet đưa ra tốc độ điển hình khoảng 100 token mỗi giây. Hãy tự đo tốc độ output bằng streaming; hướng dẫn về độ trễ LLM chỉ cách làm.

Câu hỏi thường gặp

Speculative decoding có làm thay đổi câu trả lời không?

Không thay đổi về phân phối. Cả hai bài báo gốc đều dùng quy tắc chấp nhận giữ nguyên phân phối output của model đích, nên chất lượng giống như dùng riêng model lớn. Chi tiết số thực dấu phẩy động vẫn có thể khiến kết quả giữa các lần chạy lệch nhau chút ít.

Speculative decoding nhanh hơn bao nhiêu?

Các bài báo gốc báo cáo giải mã nhanh hơn 2 đến 3 lần trên T5-XXL và 2 đến 2,5 lần trên một model Chinchilla 70B. Mức tăng thực tế phụ thuộc vào việc model nháp đoán đúng thường xuyên đến đâu.

Có bật được speculative decoding qua API không?

Không, trong một request chat completions tiêu chuẩn. Đây là lựa chọn phía serving của nhà cung cấp. Bạn chỉ thấy nó qua output nhanh hơn, nên hãy đo token mỗi giây trên chính prompt của bạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity