---
title: "Was ist Speculative Decoding? Schnellere LLM-Ausgabe erklärt"
description: "Speculative Decoding beschleunigt LLMs: Ein kleines Draft-Modell rät Tokens, die das große Modell in einem Durchlauf prüft. Funktionsweise, Gewinne und Grenzen."
url: https://broadrouter.com/de/glossary/speculative-decoding/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/speculative-decoding/) (aktualisiert am 2026-11-16).

# Speculative Decoding (spekulatives Dekodieren)

Aktualisiert 2026-11-16

Speculative Decoding ist eine Inferenztechnik, bei der ein kleines, schnelles Draft-Modell mehrere nächste Tokens vorschlägt und das große Zielmodell sie in einem einzigen Forward Pass prüft und die akzeptierten behält. Das beschleunigt die Generierung, ohne die Verteilung der Ausgabe zu verändern.

Auch genannt: spekulatives Dekodieren, Speculative Sampling, Assisted Generation, Draft-Modell, speculative decoding, speculative sampling, assisted generation, assisted decoding, draft model decoding

Ein großes Modell schreibt pro Forward Pass ein Token. Mit Speculative Decoding bestätigt es stattdessen mehrere Tokens pro Durchlauf.

## So funktioniert es

Leviathan et al. gehen von einer schlichten Tatsache aus: „decoding K tokens takes K serial runs of the model.“ (Übersetzung: „K Tokens zu dekodieren erfordert K serielle Durchläufe des Modells.“) Ihre Lösung übernimmt die spekulative Ausführung aus CPUs:

1.  Ein **Draft-Modell**, viel kleiner und schneller, rät die nächsten paar Tokens.
2.  Das **Zielmodell** bewertet alle diese Vorschläge in einem einzigen Forward Pass. Eine kurze Tokenfolge zu bewerten kostet etwa so viel, wie ein Token zu erzeugen, wie Chen et al. beobachten.
3.  Ein abgewandelter Rejection-Sampling-Schritt behält die längste Folge von Vorschlägen, der das Zielmodell zustimmt, und sampelt dann ein eigenes Token.
4.  Wiederholen ab der neuen Position.

Liegt der Draft oft richtig, liefert jeder teure Durchlauf mehrere Tokens. Liegt er falsch, verlieren Sie wenig: Das Zielmodell erzeugt trotzdem mindestens ein Token. Der Leitfaden von Hugging Face ergänzt, dass die Methode am besten funktioniert, wenn das Draft-Modell „significantly smaller“ (Übersetzung: „deutlich kleiner“) ist und denselben Tokenizer verwendet.

Varianten verzichten auf ein separates Draft-Modell. Derselbe Leitfaden beschreibt Multi-Token-Prediction-Layer (MTP), bei denen zusätzliche Heads im Hauptcheckpoint die Kandidaten entwerfen. Die Model Card von DeepSeek für DeepSeek V4.1 Flash führt ein eigenes Verfahren, „DSpark speculative decoding“, als Teil der Architektur auf.

## Warum es wichtig ist

Für API-Nutzer zeigt sich Speculative Decoding als höhere [Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/) pro Anfrage, was die Gesamt-[Latenz](https://broadrouter.com/de/glossary/latency/) bei langen Antworten senkt. Die [Time to First Token](https://broadrouter.com/de/glossary/time-to-first-token/) verkürzt es nicht, denn die wird vom Lesen des Prompts bestimmt.

Der Gewinn ist ungleich verteilt. Vorhersehbarer Text wie Code-Änderungen, JSON und Boilerplate lässt sich leicht vorentwerfen. Kreativer Text mit hoher Temperature ist schwieriger, also überleben weniger Vorschläge. Unter hoher Last konkurriert die zusätzliche Prüfarbeit mit anderen Anfragen, daher kann ein Anbieter auf Geschwindigkeit pro Nutzer oder auf Gesamt-[Durchsatz](https://broadrouter.com/de/glossary/throughput/) optimieren.

Es ist außerdem eine serverseitige Entscheidung. Über eine normale Chat-Completions-Anfrage können Sie es nicht einschalten.

## Bei BroadNet Inference

Die API-Referenz von BroadNet erwähnt Speculative Decoding nicht. Der Modellkatalog führt den produktiven Build von Gemma 4 26B A4B, in der API angeboten als [BroadNet Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/), als mit MTP (k=2) betrieben, was der Katalog als eine Form von Speculative Decoding beschreibt. Laut der Modellseite von BroadNet erreicht dieser Build etwa 136 Tokens pro Sekunde auf einem einzelnen Stream. Der Katalog berichtet außerdem, dass EAGLE3 den Durchsatz bei 32 gleichzeitigen Anfragen um 69 % senkte, weshalb BroadNet bei MTP-Draftern blieb, und BroadNet hat zwei Studien zu Uno veröffentlicht, einem selbst entwerfenden Adapter: [Uno in vLLM](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/) und [Uno auf Gemma 4 26B](https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/). Für die Pläne zum Festpreis, auf denen DeepSeek V4.1 Flash läuft, nennt die Plan-Seite von BroadNet eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde. Messen Sie Ihre eigene Ausgabegeschwindigkeit mit Streaming; der [Leitfaden zur LLM-Latenz](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) zeigt, wie.

## Häufige Fragen

### Ändert Speculative Decoding die Antwort?

Nicht in der Verteilung. Beide Originalarbeiten nutzen eine Akzeptanzregel, die die Ausgabeverteilung des Zielmodells erhält, die Qualität entspricht also der des großen Modells allein. Gleitkomma-Details können sich zwischen Läufen trotzdem leicht unterscheiden.

### Wie viel schneller ist Speculative Decoding?

Die Originalarbeiten berichten 2- bis 3-mal schnelleres Dekodieren bei T5-XXL und 2- bis 2,5-mal bei einem 70B-Chinchilla-Modell. Der reale Gewinn hängt davon ab, wie oft das Draft-Modell richtig rät.

### Kann ich Speculative Decoding über eine API einschalten?

Nicht in einer normalen Chat-Completions-Anfrage. Es ist eine Serving-Entscheidung des Anbieters. Sie merken es nur an schnellerer Ausgabe, messen Sie also die Tokens pro Sekunde mit Ihren eigenen Prompts.

## Siehe auch

-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) (Artikel)
-   [Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/) (Artikel)
-   [Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet](https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-speculative-decoding&utm_content=page-cta) ·

**Quellen**

-   [Modellseite von BroadNet Gemma 4 VL 26B: Single-Stream-Geschwindigkeit mit Speculative Decoding (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan et al., Fast Inference from Transformers via Speculative Decoding, arXiv 2211.17192 (geprüft am 2026-11-16)](https://arxiv.org/abs/2211.17192)
-   [Chen et al., Accelerating Large Language Model Decoding with Speculative Sampling, arXiv 2302.01318 (geprüft am 2026-11-16)](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers, Leitfaden zu Assisted Decoding (geprüft am 2026-11-16)](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek, Model Card zu DeepSeek-V4.1-Flash (DSpark Speculative Decoding) (geprüft am 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Modellkatalog von BroadNet (Labormessungen, September 2026) (geprüft am 2026-11-16) (auf Englisch)](https://www.broadnet.ai/inference/models)
