---
title: "Speculative decoding là gì? Cách LLM sinh output nhanh hơn"
description: "Speculative decoding tăng tốc LLM bằng cách để một model nháp nhỏ đoán trước token, rồi model lớn kiểm tra trong một lượt. Cách hoạt động, mức tăng tốc và giới hạn."
url: https://broadrouter.com/vi/glossary/speculative-decoding/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/speculative-decoding/) (cập nhật ngày 2026-11-16).

# Speculative decoding (giải mã suy đoán)

Cập nhật 2026-11-16

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

Còn gọi là: speculative decoding là gì, giải mã suy đoán, giải mã phỏng đoán, speculative sampling, assisted generation, assisted decoding, draft model decoding

Một model lớn viết một token cho mỗi lượt forward pass. Speculative decoding cho phép nó xác nhận nhiều token trong mỗi lượt.

## Cách hoạt động

Leviathan và cộng sự bắt đầu từ một thực tế đơn giản: “decoding K tokens takes K serial runs of the model.” (Bản dịch: giải mã K token cần K lần chạy model nối tiếp nhau.) Giải pháp của họ mượn ý tưởng thực thi suy đoán (speculative execution) từ CPU:

1.  Một **model nháp** (draft model), nhỏ và nhanh hơn nhiều, đoán vài token tiếp theo.
2.  **Model đích** (target model) chấm điểm tất cả các dự đoán đó trong một lượt forward pass. Như Chen và cộng sự nhận xét, chấm điểm một chuỗi token ngắn tốn chi phí gần bằng sinh ra một token.
3.  Một bước rejection sampling đã điều chỉnh giữ lại chuỗi dự đoán dài nhất mà model đích đồng ý, rồi model đích tự lấy mẫu thêm một token.
4.  Lặp lại từ vị trí mới.

Khi model nháp thường đoán đúng, mỗi lượt đắt đỏ cho ra nhiều token. Khi đoán sai, bạn mất rất ít: model đích vẫn sinh ra ít nhất một token. Hướng dẫn của Hugging Face nói thêm rằng phương pháp hiệu quả nhất khi model nháp “significantly smaller” (Bản dịch: nhỏ hơn đáng kể) và dùng cùng tokenizer.

Có những biến thể bỏ hẳn model nháp riêng. Cùng hướng dẫn đó mô tả các lớp multi-token prediction (MTP), trong đó các head bổ sung trong checkpoint chính tự sinh ứng viên. Model card của DeepSeek V4.1 Flash liệt kê cơ chế riêng của họ, “DSpark speculative decoding”, là một phần của kiến trúc.

## Vì sao quan trọng

Với người gọi API, speculative decoding thể hiện qua [số token mỗi giây](https://broadrouter.com/vi/glossary/tokens-per-second/) cao hơn cho từng request, giúp giảm tổng [độ trễ](https://broadrouter.com/vi/glossary/latency/) với câu trả lời dài. Nó không rút ngắn [thời gian tới token đầu tiên](https://broadrouter.com/vi/glossary/time-to-first-token/), vốn chủ yếu là thời gian đọc prompt.

Mức tăng không đồng đều. Văn bản dễ đoán như sửa code, JSON và đoạn mẫu lặp lại thì dễ viết nháp. Văn bản sáng tạo, temperature cao thì khó hơn, nên ít dự đoán được giữ lại. Khi tải nặng, việc kiểm tra thêm cạnh tranh tài nguyên với các request khác, nên nhà cung cấp có thể tinh chỉnh để ưu tiên tốc độ cho từng người dùng hoặc tổng [throughput](https://broadrouter.com/vi/glossary/throughput/).

Đây cũng là lựa chọn phía server. Bạn không thể bật nó qua một request chat completions tiêu chuẩn.

## Trên BroadNet Inference

Tài liệu tham khảo API của BroadNet không nhắc đến speculative decoding. Danh mục model của BroadNet ghi bản build production Gemma 4 26B A4B, được cung cấp trên API dưới tên [BroadNet Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/), chạy với MTP (k=2), mà danh mục mô tả là một dạng speculative decoding. Trang model của BroadNet đưa ra tốc độ khoảng 136 token mỗi giây trên một stream cho bản build này. Danh mục cũng báo cáo EAGLE3 làm giảm 69% throughput ở 32 request đồng thời, đó là lý do BroadNet giữ các drafter MTP, và BroadNet đã công bố hai nghiên cứu về Uno, một adapter tự viết nháp (self-drafting): [Uno trong vLLM](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/) và [Uno trên Gemma 4 26B](https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/). Với các gói giá cố định, vốn chạy DeepSeek V4.1 Flash, trang gói của BroadNet đưa ra tốc độ điển hình khoảng 100 token mỗi giây. Hãy tự đo tốc độ output bằng streaming; [hướng dẫn về độ trễ LLM](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) chỉ cách làm.

## Câu hỏi thường gặp

### Speculative decoding có làm thay đổi câu trả lời không?

Không thay đổi về phân phối. Cả hai bài báo gốc đều dùng quy tắc chấp nhận giữ nguyên phân phối output của model đích, nên chất lượng giống như dùng riêng model lớn. Chi tiết số thực dấu phẩy động vẫn có thể khiến kết quả giữa các lần chạy lệch nhau chút ít.

### Speculative decoding nhanh hơn bao nhiêu?

Các bài báo gốc báo cáo giải mã nhanh hơn 2 đến 3 lần trên T5-XXL và 2 đến 2,5 lần trên một model Chinchilla 70B. Mức tăng thực tế phụ thuộc vào việc model nháp đoán đúng thường xuyên đến đâu.

### Có bật được speculative decoding qua API không?

Không, trong một request chat completions tiêu chuẩn. Đây là lựa chọn phía serving của nhà cung cấp. Bạn chỉ thấy nó qua output nhanh hơn, nên hãy đo token mỗi giây trên chính prompt của bạn.

## Xem thêm

-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [Mixture of experts (MoE)](https://broadrouter.com/vi/glossary/mixture-of-experts/) (thuật ngữ)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) (bài viết)
-   [Uno trong vLLM: nghiên cứu phục vụ của BroadNet đã đo những gì](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/) (bài viết)
-   [Uno trên Gemma 4 26B: nghiên cứu mixture-of-experts của BroadNet](https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-speculative-decoding&utm_content=page-cta) ·

**Nguồn**

-   [Trang model BroadNet Gemma 4 VL 26B: tốc độ single-stream với speculative decoding (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan và cộng sự, Fast Inference from Transformers via Speculative Decoding, arXiv 2211.17192 (kiểm tra ngày 2026-11-16)](https://arxiv.org/abs/2211.17192)
-   [Chen và cộng sự, Accelerating Large Language Model Decoding with Speculative Sampling, arXiv 2302.01318 (kiểm tra ngày 2026-11-16)](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers, hướng dẫn assisted decoding (kiểm tra ngày 2026-11-16)](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek, model card DeepSeek-V4.1-Flash (DSpark speculative decoding) (kiểm tra ngày 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Danh mục model BroadNet (số đo trong phòng lab, tháng 9 năm 2026) (kiểm tra ngày 2026-11-16) (tiếng Anh)](https://www.broadnet.ai/inference/models)
