BroadRouter
Comenzar

Decodificación especulativa (speculative decoding)

Actualizado

La decodificación especulativa es una técnica de inferencia en la que un modelo borrador pequeño y rápido propone varios tokens siguientes y el modelo objetivo grande los verifica en una sola pasada hacia adelante, conservando los aceptados. Acelera la generación sin cambiar la distribución de la salida.

También llamado: speculative decoding, muestreo especulativo, generación asistida, decodificación asistida, modelo borrador, speculative sampling, assisted generation, assisted decoding, draft model decoding

Un modelo grande escribe un token por cada pasada hacia adelante. La decodificación especulativa le permite confirmar varios tokens por pasada.

Cómo funciona

Leviathan et al. parten de un hecho simple: “decoding K tokens takes K serial runs of the model.” (traducción: decodificar K tokens requiere K ejecuciones en serie del modelo.) Su solución toma prestada la ejecución especulativa de las CPU:

  1. Un modelo borrador, mucho más pequeño y rápido, adivina los siguientes tokens.
  2. El modelo objetivo puntúa todas esas conjeturas en una sola pasada hacia adelante. Puntuar una secuencia corta de tokens cuesta más o menos lo mismo que producir uno, como observan Chen et al.
  3. Un paso modificado de muestreo por rechazo conserva la secuencia más larga de conjeturas con la que el modelo objetivo está de acuerdo y luego muestrea un token propio.
  4. Se repite desde la nueva posición.

Cuando el borrador acierta a menudo, cada pasada costosa produce varios tokens. Cuando falla, se pierde poco: el modelo objetivo produce al menos un token igualmente. La guía de Hugging Face añade que el método funciona mejor cuando el modelo borrador es “significantly smaller” (traducción: bastante más pequeño) y comparte el mismo tokenizador.

Algunas variantes prescinden del modelo borrador separado. La misma guía describe capas de predicción de múltiples tokens (MTP), en las que cabezas adicionales del checkpoint principal generan los candidatos. La ficha del modelo DeepSeek V4.1 Flash de DeepSeek incluye su propio esquema, “DSpark speculative decoding”, como parte de la arquitectura.

Por qué importa

Para quien llama a una API, la decodificación especulativa se nota como más tokens por segundo por solicitud, lo que reduce la latencia total en respuestas largas. No acorta el tiempo hasta el primer token, que depende sobre todo de la lectura del prompt.

La ganancia es desigual. El texto predecible, como ediciones de código, JSON y texto repetitivo, es fácil de adivinar. El texto creativo con temperatura alta es más difícil, así que sobreviven menos conjeturas. Con carga alta, el trabajo extra de verificación compite con otras solicitudes, por lo que un proveedor puede ajustarlo para priorizar la velocidad por usuario o el throughput total.

Además, es una decisión del lado del servidor. No se puede activar mediante una solicitud estándar de chat completions.

En BroadNet Inference

La referencia de la API de BroadNet no menciona la decodificación especulativa. Su catálogo de modelos indica que la build de producción de Gemma 4 26B A4B, ofrecida en la API como BroadNet Gemma 4 VL 26B, se ejecuta con MTP (k=2), que el catálogo describe como una forma de decodificación especulativa. La página del modelo de BroadNet sitúa esa build en unos 136 tokens por segundo en un solo stream. El catálogo también informa que EAGLE3 redujo el throughput un 69 % con 32 solicitudes concurrentes, motivo por el cual BroadNet mantuvo los borradores MTP, y BroadNet ha publicado dos estudios sobre Uno, un adaptador que genera sus propios borradores: Uno en vLLM y Uno en Gemma 4 26B. Para sus planes de precio fijo, que ejecutan DeepSeek V4.1 Flash, la página de planes de BroadNet da una velocidad típica de unos 100 tokens por segundo. Mida su propia velocidad de salida con streaming; la guía de latencia de LLM explica cómo.

Preguntas frecuentes

¿La decodificación especulativa cambia la respuesta?

No en distribución. Ambos artículos originales usan una regla de aceptación que conserva la distribución de salida del modelo objetivo, así que la calidad iguala a la del modelo grande por sí solo. Aun así, detalles de punto flotante pueden variar ligeramente entre ejecuciones.

¿Cuánto más rápida es la decodificación especulativa?

Los artículos originales reportan una decodificación de 2 a 3 veces más rápida en T5-XXL y de 2 a 2.5 veces en un modelo Chinchilla de 70B. Las ganancias reales dependen de con qué frecuencia acierta el modelo borrador.

¿Puedo activar la decodificación especulativa desde una API?

No en una solicitud estándar de chat completions. Es una decisión de servicio del proveedor. Usted solo la ve como una salida más rápida, así que mida los tokens por segundo con sus propios prompts.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity