Isang token kada forward pass ang isinusulat ng malaking model. Sa speculative decoding, ilang token ang nakukumpirma nito sa bawat pass.
Paano ito gumagana
Nagsisimula sina Leviathan et al. sa simpleng katotohanan: “decoding K tokens takes K serial runs of the model.” (Salin ng BroadRouter: “K na sunud-sunod na run ng model ang kailangan para mag-decode ng K na token.”) Hiniram ng solusyon nila ang speculative execution mula sa mga CPU:
- Hinuhulaan ng isang draft model, na mas maliit at mas mabilis nang husto, ang susunod na ilang token.
- Sinusuri ng target model ang lahat ng hulang iyon sa iisang forward pass. Halos kapareho ang gastos ng pagsuri sa maikling sunod ng mga token at ng paggawa ng isa, ayon sa obserbasyon nina Chen et al.
- Pinapanatili ng binagong rejection-sampling step ang pinakamahabang sunod ng mga hulang sinasang-ayunan ng target model, saka ito nagsa-sample ng sarili nitong isang token.
- Ulitin mula sa bagong posisyon.
Kapag madalas tama ang draft, ilang token ang nabubuo sa bawat mahal na pass. Kapag mali, kaunti lang ang nawawala: gumagawa pa rin ng kahit isang token ang target model. Idinadagdag ng gabay ng Hugging Face na pinakamabisa ang method kapag “significantly smaller” (Salin ng BroadRouter: “mas maliit nang malaki”) ang draft model at pareho sila ng tokenizer.
May mga variant na wala nang hiwalay na draft model. Inilalarawan ng parehong gabay ang mga multi-token prediction (MTP) layer, kung saan ang mga dagdag na head sa pangunahing checkpoint ang gumagawa ng mga kandidato. Inililista ng model card ng DeepSeek para sa DeepSeek V4.1 Flash ang sarili nitong scheme, ang “DSpark speculative decoding”, bilang bahagi ng architecture.
Bakit ito mahalaga
Para sa tumatawag sa API, lumalabas ang speculative decoding bilang mas mataas na token kada segundo kada request, na nagpapaikli sa kabuuang latency ng mahahabang sagot. Hindi nito pinapaikli ang time to first token, na kadalasang nakadepende sa pagbasa ng prompt.
Hindi pantay ang pakinabang. Madaling i-draft ang predictable na text gaya ng code edit, JSON at boilerplate. Mas mahirap ang creative at high-temperature na text, kaya mas kaunting hula ang natitira. Sa mabigat na load, nakikipag-agawan sa ibang request ang dagdag na trabaho ng verification, kaya puwedeng i-tune ito ng provider para sa bilis kada user o para sa kabuuang throughput.
Desisyon din ito sa panig ng server. Hindi mo ito mai-on sa karaniwang chat completions request.
Sa BroadNet Inference
Hindi binabanggit ng API reference ng BroadNet ang speculative decoding. Inililista ng model catalogue nito ang production build ng Gemma 4 26B A4B, na inaalok sa API bilang BroadNet Gemma 4 VL 26B, bilang tumatakbo nang may MTP (k=2), na inilalarawan ng catalogue bilang isang uri ng speculative decoding. Ayon sa model page ng BroadNet, mga 136 token kada segundo ang build na iyon sa single stream. Iniuulat din ng catalogue na nabawasan ng EAGLE3 nang 69% ang throughput sa 32 na sabay-sabay na request, kaya MTP drafter ang pinanatili ng BroadNet, at naglathala ang BroadNet ng dalawang pag-aaral tungkol sa Uno, isang self-drafting adapter: Uno sa vLLM at Uno sa Gemma 4 26B. Para sa mga flat-price plan nito, na nagpapatakbo ng DeepSeek V4.1 Flash, mga 100 token bawat segundo ang karaniwang bilis na ibinibigay ng plans page ng BroadNet. Sukatin ang sarili mong output speed gamit ang streaming; ipinapakita ng gabay sa LLM latency kung paano.