Un modelo grande escribe un token por cada pasada hacia adelante. La decodificación especulativa le permite confirmar varios tokens por pasada.
Cómo funciona
Leviathan et al. parten de un hecho simple: “decoding K tokens takes K serial runs of the model.” (traducción: decodificar K tokens requiere K ejecuciones en serie del modelo.) Su solución toma prestada la ejecución especulativa de las CPU:
- Un modelo borrador, mucho más pequeño y rápido, adivina los siguientes tokens.
- El modelo objetivo puntúa todas esas conjeturas en una sola pasada hacia adelante. Puntuar una secuencia corta de tokens cuesta más o menos lo mismo que producir uno, como observan Chen et al.
- Un paso modificado de muestreo por rechazo conserva la secuencia más larga de conjeturas con la que el modelo objetivo está de acuerdo y luego muestrea un token propio.
- Se repite desde la nueva posición.
Cuando el borrador acierta a menudo, cada pasada costosa produce varios tokens. Cuando falla, se pierde poco: el modelo objetivo produce al menos un token igualmente. La guía de Hugging Face añade que el método funciona mejor cuando el modelo borrador es “significantly smaller” (traducción: bastante más pequeño) y comparte el mismo tokenizador.
Algunas variantes prescinden del modelo borrador separado. La misma guía describe capas de predicción de múltiples tokens (MTP), en las que cabezas adicionales del checkpoint principal generan los candidatos. La ficha del modelo DeepSeek V4.1 Flash de DeepSeek incluye su propio esquema, “DSpark speculative decoding”, como parte de la arquitectura.
Por qué importa
Para quien llama a una API, la decodificación especulativa se nota como más tokens por segundo por solicitud, lo que reduce la latencia total en respuestas largas. No acorta el tiempo hasta el primer token, que depende sobre todo de la lectura del prompt.
La ganancia es desigual. El texto predecible, como ediciones de código, JSON y texto repetitivo, es fácil de adivinar. El texto creativo con temperatura alta es más difícil, así que sobreviven menos conjeturas. Con carga alta, el trabajo extra de verificación compite con otras solicitudes, por lo que un proveedor puede ajustarlo para priorizar la velocidad por usuario o el throughput total.
Además, es una decisión del lado del servidor. No se puede activar mediante una solicitud estándar de chat completions.
En BroadNet Inference
La referencia de la API de BroadNet no menciona la decodificación especulativa. Su catálogo de modelos indica que la build de producción de Gemma 4 26B A4B, ofrecida en la API como BroadNet Gemma 4 VL 26B, se ejecuta con MTP (k=2), que el catálogo describe como una forma de decodificación especulativa. La página del modelo de BroadNet sitúa esa build en unos 136 tokens por segundo en un solo stream. El catálogo también informa que EAGLE3 redujo el throughput un 69 % con 32 solicitudes concurrentes, motivo por el cual BroadNet mantuvo los borradores MTP, y BroadNet ha publicado dos estudios sobre Uno, un adaptador que genera sus propios borradores: Uno en vLLM y Uno en Gemma 4 26B. Para sus planes de precio fijo, que ejecutan DeepSeek V4.1 Flash, la página de planes de BroadNet da una velocidad típica de unos 100 tokens por segundo. Mida su propia velocidad de salida con streaming; la guía de latencia de LLM explica cómo.