बड़ा मॉडल हर forward pass में एक टोकन लिखता है। स्पेक्युलेटिव डिकोडिंग उसे हर pass में कई टोकन पक्के करने देती है।
यह कैसे काम करता है
Leviathan et al. एक सीधी बात से शुरू करते हैं: “decoding K tokens takes K serial runs of the model.” (अनुवाद: K टोकन डिकोड करने में मॉडल के K क्रमिक रन लगते हैं।) उनका हल CPU के speculative execution से प्रेरित है:
- एक ड्राफ़्ट मॉडल, जो काफ़ी छोटा और तेज़ है, अगले कुछ टोकन का अनुमान लगाता है।
- टारगेट मॉडल उन सभी अनुमानों को एक ही forward pass में स्कोर करता है। जैसा Chen et al. बताते हैं, टोकन की छोटी कड़ी को स्कोर करने की लागत लगभग एक टोकन बनाने जितनी ही होती है।
- बदला हुआ rejection-sampling चरण अनुमानों की वह सबसे लंबी कड़ी रखता है जिससे टारगेट मॉडल सहमत है, फिर अपना एक टोकन सैंपल करता है।
- नई जगह से दोहराएँ।
जब ड्राफ़्ट अक्सर सही होता है, तो हर महँगा pass कई टोकन देता है। जब ग़लत होता है, तो नुकसान कम होता है: टारगेट मॉडल फिर भी कम से कम एक टोकन बनाता है। Hugging Face की गाइड जोड़ती है कि यह तरीका तब सबसे अच्छा चलता है जब ड्राफ़्ट मॉडल “significantly smaller” (अनुवाद: काफ़ी छोटा) हो और उसी tokenizer को इस्तेमाल करता हो।
कुछ वैरिएंट अलग ड्राफ़्ट मॉडल हटा देते हैं। वही गाइड multi-token prediction (MTP) लेयर बताती है, जिनमें मुख्य चेकपॉइंट के अतिरिक्त heads उम्मीदवार टोकन ड्राफ़्ट करते हैं। DeepSeek V4.1 Flash का मॉडल कार्ड अपनी आर्किटेक्चर के हिस्से के रूप में अपनी स्कीम, “DSpark speculative decoding”, लिस्ट करता है।
यह क्यों मायने रखता है
API कॉल करने वाले के लिए स्पेक्युलेटिव डिकोडिंग प्रति अनुरोध ज़्यादा टोकन प्रति सेकंड के रूप में दिखती है, जिससे लंबे जवाबों की कुल लेटेंसी घटती है। यह पहले टोकन तक का समय कम नहीं करती, जिस पर प्रॉम्प्ट पढ़ने का समय हावी रहता है।
फ़ायदा एक-सा नहीं होता। कोड एडिट, JSON और बॉयलरप्लेट जैसा अनुमान लगाने लायक टेक्स्ट ड्राफ़्ट करना आसान है। रचनात्मक, ऊँचे temperature वाला टेक्स्ट कठिन है, इसलिए कम अनुमान टिकते हैं। भारी लोड में अतिरिक्त जाँच का काम दूसरे अनुरोधों से होड़ करता है, इसलिए प्रोवाइडर इसे प्रति-यूज़र स्पीड के लिए या कुल थ्रूपुट के लिए ट्यून कर सकता है।
यह सर्वर-साइड फ़ैसला भी है। आप इसे सामान्य chat completions अनुरोध से चालू नहीं कर सकते।
BroadNet Inference पर
BroadNet का API रेफ़रेंस स्पेक्युलेटिव डिकोडिंग का ज़िक्र नहीं करता। उसका मॉडल कैटलॉग प्रोडक्शन Gemma 4 26B A4B बिल्ड को, जो API पर BroadNet Gemma 4 VL 26B के रूप में मिलता है, MTP (k=2) के साथ चलता हुआ बताता है, और कैटलॉग इसे स्पेक्युलेटिव डिकोडिंग का एक रूप कहता है। BroadNet का मॉडल पेज उस बिल्ड को एक स्ट्रीम पर लगभग 136 टोकन प्रति सेकंड पर रखता है। कैटलॉग यह भी बताता है कि 32 एक साथ चल रहे अनुरोधों पर EAGLE3 से थ्रूपुट 69% घट गया, इसी वजह से BroadNet ने MTP ड्राफ़्टर रखे, और BroadNet ने Uno नाम के self-drafting adapter पर दो स्टडी प्रकाशित की हैं: vLLM में Uno और Gemma 4 26B पर Uno। अपने फ़्लैट-प्राइस प्लान के लिए, जो DeepSeek V4.1 Flash चलाते हैं, BroadNet का प्लान पेज लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है। अपनी आउटपुट स्पीड स्ट्रीमिंग से नापें; LLM लेटेंसी गाइड तरीका दिखाती है।