BroadRouter
शुरू करें

स्पेक्युलेटिव डिकोडिंग (speculative decoding)

अपडेट किया गया

स्पेक्युलेटिव डिकोडिंग एक इन्फ़रेंस तकनीक है जिसमें छोटा, तेज़ ड्राफ़्ट मॉडल अगले कई टोकन सुझाता है और बड़ा टारगेट मॉडल उन्हें एक ही forward pass में जाँचकर स्वीकार किए गए टोकन रखता है। यह आउटपुट के डिस्ट्रिब्यूशन को बदले बिना जनरेशन तेज़ करती है।

अन्य नाम: स्पेक्युलेटिव डिकोडिंग, स्पेक्युलेटिव सैंपलिंग, ड्राफ़्ट मॉडल, speculative decoding kya hai, speculative sampling, assisted generation, assisted decoding, draft model decoding

बड़ा मॉडल हर forward pass में एक टोकन लिखता है। स्पेक्युलेटिव डिकोडिंग उसे हर pass में कई टोकन पक्के करने देती है।

यह कैसे काम करता है

Leviathan et al. एक सीधी बात से शुरू करते हैं: “decoding K tokens takes K serial runs of the model.” (अनुवाद: K टोकन डिकोड करने में मॉडल के K क्रमिक रन लगते हैं।) उनका हल CPU के speculative execution से प्रेरित है:

  1. एक ड्राफ़्ट मॉडल, जो काफ़ी छोटा और तेज़ है, अगले कुछ टोकन का अनुमान लगाता है।
  2. टारगेट मॉडल उन सभी अनुमानों को एक ही forward pass में स्कोर करता है। जैसा Chen et al. बताते हैं, टोकन की छोटी कड़ी को स्कोर करने की लागत लगभग एक टोकन बनाने जितनी ही होती है।
  3. बदला हुआ rejection-sampling चरण अनुमानों की वह सबसे लंबी कड़ी रखता है जिससे टारगेट मॉडल सहमत है, फिर अपना एक टोकन सैंपल करता है।
  4. नई जगह से दोहराएँ।

जब ड्राफ़्ट अक्सर सही होता है, तो हर महँगा pass कई टोकन देता है। जब ग़लत होता है, तो नुकसान कम होता है: टारगेट मॉडल फिर भी कम से कम एक टोकन बनाता है। Hugging Face की गाइड जोड़ती है कि यह तरीका तब सबसे अच्छा चलता है जब ड्राफ़्ट मॉडल “significantly smaller” (अनुवाद: काफ़ी छोटा) हो और उसी tokenizer को इस्तेमाल करता हो।

कुछ वैरिएंट अलग ड्राफ़्ट मॉडल हटा देते हैं। वही गाइड multi-token prediction (MTP) लेयर बताती है, जिनमें मुख्य चेकपॉइंट के अतिरिक्त heads उम्मीदवार टोकन ड्राफ़्ट करते हैं। DeepSeek V4.1 Flash का मॉडल कार्ड अपनी आर्किटेक्चर के हिस्से के रूप में अपनी स्कीम, “DSpark speculative decoding”, लिस्ट करता है।

यह क्यों मायने रखता है

API कॉल करने वाले के लिए स्पेक्युलेटिव डिकोडिंग प्रति अनुरोध ज़्यादा टोकन प्रति सेकंड के रूप में दिखती है, जिससे लंबे जवाबों की कुल लेटेंसी घटती है। यह पहले टोकन तक का समय कम नहीं करती, जिस पर प्रॉम्प्ट पढ़ने का समय हावी रहता है।

फ़ायदा एक-सा नहीं होता। कोड एडिट, JSON और बॉयलरप्लेट जैसा अनुमान लगाने लायक टेक्स्ट ड्राफ़्ट करना आसान है। रचनात्मक, ऊँचे temperature वाला टेक्स्ट कठिन है, इसलिए कम अनुमान टिकते हैं। भारी लोड में अतिरिक्त जाँच का काम दूसरे अनुरोधों से होड़ करता है, इसलिए प्रोवाइडर इसे प्रति-यूज़र स्पीड के लिए या कुल थ्रूपुट के लिए ट्यून कर सकता है।

यह सर्वर-साइड फ़ैसला भी है। आप इसे सामान्य chat completions अनुरोध से चालू नहीं कर सकते।

BroadNet Inference पर

BroadNet का API रेफ़रेंस स्पेक्युलेटिव डिकोडिंग का ज़िक्र नहीं करता। उसका मॉडल कैटलॉग प्रोडक्शन Gemma 4 26B A4B बिल्ड को, जो API पर BroadNet Gemma 4 VL 26B के रूप में मिलता है, MTP (k=2) के साथ चलता हुआ बताता है, और कैटलॉग इसे स्पेक्युलेटिव डिकोडिंग का एक रूप कहता है। BroadNet का मॉडल पेज उस बिल्ड को एक स्ट्रीम पर लगभग 136 टोकन प्रति सेकंड पर रखता है। कैटलॉग यह भी बताता है कि 32 एक साथ चल रहे अनुरोधों पर EAGLE3 से थ्रूपुट 69% घट गया, इसी वजह से BroadNet ने MTP ड्राफ़्टर रखे, और BroadNet ने Uno नाम के self-drafting adapter पर दो स्टडी प्रकाशित की हैं: vLLM में Uno और Gemma 4 26B पर Uno। अपने फ़्लैट-प्राइस प्लान के लिए, जो DeepSeek V4.1 Flash चलाते हैं, BroadNet का प्लान पेज लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है। अपनी आउटपुट स्पीड स्ट्रीमिंग से नापें; LLM लेटेंसी गाइड तरीका दिखाती है।

अक्सर पूछे जाने वाले सवाल

क्या स्पेक्युलेटिव डिकोडिंग जवाब बदल देती है?

डिस्ट्रिब्यूशन के स्तर पर नहीं। दोनों मूल पेपर ऐसा स्वीकृति नियम इस्तेमाल करते हैं जो टारगेट मॉडल का आउटपुट डिस्ट्रिब्यूशन बनाए रखता है, इसलिए क्वालिटी अकेले बड़े मॉडल जैसी रहती है। फ़्लोटिंग-पॉइंट की बारीकियों से अलग-अलग रन में फिर भी थोड़ा फ़र्क़ आ सकता है।

स्पेक्युलेटिव डिकोडिंग कितनी तेज़ है?

मूल पेपर T5-XXL पर 2 से 3 गुना और 70B Chinchilla मॉडल पर 2 से 2.5 गुना तेज़ डिकोडिंग बताते हैं। असली फ़ायदा इस पर निर्भर है कि ड्राफ़्ट मॉडल कितनी बार सही अनुमान लगाता है।

क्या मैं API से स्पेक्युलेटिव डिकोडिंग चालू कर सकता हूँ?

सामान्य chat completions अनुरोध में नहीं। यह प्रोवाइडर का सर्विंग से जुड़ा फ़ैसला है। आपको यह सिर्फ़ तेज़ आउटपुट के रूप में दिखती है, इसलिए अपने प्रॉम्प्ट पर टोकन प्रति सेकंड नापें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें