Ein großes Modell schreibt pro Forward Pass ein Token. Mit Speculative Decoding bestätigt es stattdessen mehrere Tokens pro Durchlauf.
So funktioniert es
Leviathan et al. gehen von einer schlichten Tatsache aus: „decoding K tokens takes K serial runs of the model.“ (Übersetzung: „K Tokens zu dekodieren erfordert K serielle Durchläufe des Modells.“) Ihre Lösung übernimmt die spekulative Ausführung aus CPUs:
- Ein Draft-Modell, viel kleiner und schneller, rät die nächsten paar Tokens.
- Das Zielmodell bewertet alle diese Vorschläge in einem einzigen Forward Pass. Eine kurze Tokenfolge zu bewerten kostet etwa so viel, wie ein Token zu erzeugen, wie Chen et al. beobachten.
- Ein abgewandelter Rejection-Sampling-Schritt behält die längste Folge von Vorschlägen, der das Zielmodell zustimmt, und sampelt dann ein eigenes Token.
- Wiederholen ab der neuen Position.
Liegt der Draft oft richtig, liefert jeder teure Durchlauf mehrere Tokens. Liegt er falsch, verlieren Sie wenig: Das Zielmodell erzeugt trotzdem mindestens ein Token. Der Leitfaden von Hugging Face ergänzt, dass die Methode am besten funktioniert, wenn das Draft-Modell „significantly smaller“ (Übersetzung: „deutlich kleiner“) ist und denselben Tokenizer verwendet.
Varianten verzichten auf ein separates Draft-Modell. Derselbe Leitfaden beschreibt Multi-Token-Prediction-Layer (MTP), bei denen zusätzliche Heads im Hauptcheckpoint die Kandidaten entwerfen. Die Model Card von DeepSeek für DeepSeek V4.1 Flash führt ein eigenes Verfahren, „DSpark speculative decoding“, als Teil der Architektur auf.
Warum es wichtig ist
Für API-Nutzer zeigt sich Speculative Decoding als höhere Tokens pro Sekunde pro Anfrage, was die Gesamt-Latenz bei langen Antworten senkt. Die Time to First Token verkürzt es nicht, denn die wird vom Lesen des Prompts bestimmt.
Der Gewinn ist ungleich verteilt. Vorhersehbarer Text wie Code-Änderungen, JSON und Boilerplate lässt sich leicht vorentwerfen. Kreativer Text mit hoher Temperature ist schwieriger, also überleben weniger Vorschläge. Unter hoher Last konkurriert die zusätzliche Prüfarbeit mit anderen Anfragen, daher kann ein Anbieter auf Geschwindigkeit pro Nutzer oder auf Gesamt-Durchsatz optimieren.
Es ist außerdem eine serverseitige Entscheidung. Über eine normale Chat-Completions-Anfrage können Sie es nicht einschalten.
Bei BroadNet Inference
Die API-Referenz von BroadNet erwähnt Speculative Decoding nicht. Der Modellkatalog führt den produktiven Build von Gemma 4 26B A4B, in der API angeboten als BroadNet Gemma 4 VL 26B, als mit MTP (k=2) betrieben, was der Katalog als eine Form von Speculative Decoding beschreibt. Laut der Modellseite von BroadNet erreicht dieser Build etwa 136 Tokens pro Sekunde auf einem einzelnen Stream. Der Katalog berichtet außerdem, dass EAGLE3 den Durchsatz bei 32 gleichzeitigen Anfragen um 69 % senkte, weshalb BroadNet bei MTP-Draftern blieb, und BroadNet hat zwei Studien zu Uno veröffentlicht, einem selbst entwerfenden Adapter: Uno in vLLM und Uno auf Gemma 4 26B. Für die Pläne zum Festpreis, auf denen DeepSeek V4.1 Flash läuft, nennt die Plan-Seite von BroadNet eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde. Messen Sie Ihre eigene Ausgabegeschwindigkeit mit Streaming; der Leitfaden zur LLM-Latenz zeigt, wie.