---
title: "Ano ang speculative decoding? Mas mabilis na LLM output"
description: "Pinapabilis ng speculative decoding ang LLM: nanghuhula ng token ang maliit na draft model at sabay itong sinusuri ng malaking model. Paano, pakinabang, limit."
url: https://broadrouter.com/fil/glossary/speculative-decoding/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/speculative-decoding/) (na-update noong 2026-11-16).

# Speculative decoding

Na-update 2026-11-16

Ang speculative decoding ay inference technique kung saan nagmumungkahi ang isang maliit at mabilis na draft model ng ilang susunod na token, at sabay-sabay itong bine-verify ng malaking target model sa iisang forward pass, saka pinapanatili ang mga tinanggap. Pinapabilis nito ang generation nang hindi binabago ang distribution ng output.

Tinatawag ding: draft model, MTP, speculative sampling, assisted generation, assisted decoding, draft model decoding

Isang token kada forward pass ang isinusulat ng malaking model. Sa speculative decoding, ilang token ang nakukumpirma nito sa bawat pass.

## Paano ito gumagana

Nagsisimula sina Leviathan et al. sa simpleng katotohanan: “decoding K tokens takes K serial runs of the model.” (Salin ng BroadRouter: “K na sunud-sunod na run ng model ang kailangan para mag-decode ng K na token.”) Hiniram ng solusyon nila ang speculative execution mula sa mga CPU:

1.  Hinuhulaan ng isang **draft model**, na mas maliit at mas mabilis nang husto, ang susunod na ilang token.
2.  Sinusuri ng **target model** ang lahat ng hulang iyon sa iisang forward pass. Halos kapareho ang gastos ng pagsuri sa maikling sunod ng mga token at ng paggawa ng isa, ayon sa obserbasyon nina Chen et al.
3.  Pinapanatili ng binagong rejection-sampling step ang pinakamahabang sunod ng mga hulang sinasang-ayunan ng target model, saka ito nagsa-sample ng sarili nitong isang token.
4.  Ulitin mula sa bagong posisyon.

Kapag madalas tama ang draft, ilang token ang nabubuo sa bawat mahal na pass. Kapag mali, kaunti lang ang nawawala: gumagawa pa rin ng kahit isang token ang target model. Idinadagdag ng gabay ng Hugging Face na pinakamabisa ang method kapag “significantly smaller” (Salin ng BroadRouter: “mas maliit nang malaki”) ang draft model at pareho sila ng tokenizer.

May mga variant na wala nang hiwalay na draft model. Inilalarawan ng parehong gabay ang mga multi-token prediction (MTP) layer, kung saan ang mga dagdag na head sa pangunahing checkpoint ang gumagawa ng mga kandidato. Inililista ng model card ng DeepSeek para sa DeepSeek V4.1 Flash ang sarili nitong scheme, ang “DSpark speculative decoding”, bilang bahagi ng architecture.

## Bakit ito mahalaga

Para sa tumatawag sa API, lumalabas ang speculative decoding bilang mas mataas na [token kada segundo](https://broadrouter.com/fil/glossary/tokens-per-second/) kada request, na nagpapaikli sa kabuuang [latency](https://broadrouter.com/fil/glossary/latency/) ng mahahabang sagot. Hindi nito pinapaikli ang [time to first token](https://broadrouter.com/fil/glossary/time-to-first-token/), na kadalasang nakadepende sa pagbasa ng prompt.

Hindi pantay ang pakinabang. Madaling i-draft ang predictable na text gaya ng code edit, JSON at boilerplate. Mas mahirap ang creative at high-temperature na text, kaya mas kaunting hula ang natitira. Sa mabigat na load, nakikipag-agawan sa ibang request ang dagdag na trabaho ng verification, kaya puwedeng i-tune ito ng provider para sa bilis kada user o para sa kabuuang [throughput](https://broadrouter.com/fil/glossary/throughput/).

Desisyon din ito sa panig ng server. Hindi mo ito mai-on sa karaniwang chat completions request.

## Sa BroadNet Inference

Hindi binabanggit ng API reference ng BroadNet ang speculative decoding. Inililista ng model catalogue nito ang production build ng Gemma 4 26B A4B, na inaalok sa API bilang [BroadNet Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/), bilang tumatakbo nang may MTP (k=2), na inilalarawan ng catalogue bilang isang uri ng speculative decoding. Ayon sa model page ng BroadNet, mga 136 token kada segundo ang build na iyon sa single stream. Iniuulat din ng catalogue na nabawasan ng EAGLE3 nang 69% ang throughput sa 32 na sabay-sabay na request, kaya MTP drafter ang pinanatili ng BroadNet, at naglathala ang BroadNet ng dalawang pag-aaral tungkol sa Uno, isang self-drafting adapter: [Uno sa vLLM](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/) at [Uno sa Gemma 4 26B](https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/). Para sa mga flat-price plan nito, na nagpapatakbo ng DeepSeek V4.1 Flash, mga 100 token bawat segundo ang karaniwang bilis na ibinibigay ng plans page ng BroadNet. Sukatin ang sarili mong output speed gamit ang streaming; ipinapakita ng [gabay sa LLM latency](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/) kung paano.

## Mga tanong

### Binabago ba ng speculative decoding ang sagot?

Hindi sa distribution. Parehong gumagamit ang dalawang orihinal na paper ng acceptance rule na pinapanatili ang output distribution ng target model, kaya kapareho ng kalidad ito ng malaking model nang mag-isa. Puwede pa ring bahagyang mag-iba ang resulta kada run dahil sa mga detalye ng floating-point.

### Gaano kabilis ang speculative decoding?

Iniulat ng mga orihinal na paper ang 2 hanggang 3 beses na mas mabilis na decoding sa T5-XXL at 2 hanggang 2.5 beses sa isang 70B na Chinchilla model. Nakadepende ang totoong pakinabang sa kung gaano kadalas tama ang hula ng draft model.

### Puwede ko bang i-on ang speculative decoding sa API?

Hindi sa karaniwang chat completions request. Desisyon ito ng provider sa pag-serve. Mas mabilis na output lang ang makikita mo, kaya sukatin ang token kada segundo sa sarili mong mga prompt.

## Tingnan din

-   [Tokens per second (TPS)](https://broadrouter.com/fil/glossary/tokens-per-second/) (termino)
-   [Latency](https://broadrouter.com/fil/glossary/latency/) (termino)
-   [Throughput](https://broadrouter.com/fil/glossary/throughput/) (termino)
-   [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) (termino)
-   [Mixture of experts (MoE)](https://broadrouter.com/fil/glossary/mixture-of-experts/) (termino)
-   [Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/) (gabay)
-   [LLM latency: TTFT vs tokens per second vs end-to-end na oras](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/) (artikulo)
-   [Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/) (artikulo)
-   [Uno sa Gemma 4 26B: ang mixture-of-experts na pag-aaral ng BroadNet](https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-speculative-decoding&utm_content=page-cta) ·

**Mga source**

-   [Model page ng BroadNet Gemma 4 VL 26B: bilis sa single stream gamit ang speculative decoding (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan et al., Fast Inference from Transformers via Speculative Decoding, arXiv 2211.17192 (sinuri noong 2026-11-16)](https://arxiv.org/abs/2211.17192)
-   [Chen et al., Accelerating Large Language Model Decoding with Speculative Sampling, arXiv 2302.01318 (sinuri noong 2026-11-16)](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers, gabay sa assisted decoding (sinuri noong 2026-11-16)](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek, model card ng DeepSeek-V4.1-Flash (DSpark speculative decoding) (sinuri noong 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Model catalogue ng BroadNet (mga sukat sa lab, Setyembre 2026) (sinuri noong 2026-11-16) (Ingles)](https://www.broadnet.ai/inference/models)
