Una solicitud de chat hace dos trabajos distintos: leer el prompt y luego escribir la respuesta. Los ingenieros de inferencia los llaman prefill y decode, y se comportan de forma muy diferente en una GPU.
Cómo funciona
- Prefill. El modelo lee todos los tokens del prompt en una sola pasada en paralelo y guarda las claves y los valores de atención de cada token en la caché KV. Todavía no se devuelve nada.
- Decode. El modelo genera un token, añade sus claves y valores a la caché y repite hasta que se detiene o alcanza
max_tokens.
El artículo de Sarathi-Serve plantea el contraste con claridad: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (traducción: las iteraciones de prefill tienen una latencia alta, pero saturan el cómputo de la GPU por el procesamiento en paralelo del prompt de entrada), mientras que “decode iterations have low latency but also low compute utilization.” (traducción: las iteraciones de decode tienen una latencia baja, pero también un bajo aprovechamiento del cómputo.)
Las dos fases corresponden a las dos cifras de latencia que perciben los usuarios. El artículo de DistServe las nombra: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (traducción: tiempo hasta el primer token (TTFT) para la fase de prefill y tiempo por token de salida (TPOT) de cada solicitud para la fase de decode.)
Un ejemplo práctico: una solicitud con un prompt de 20,000 tokens y una respuesta de 300 tokens hace el prefill de los 20,000 tokens antes de que aparezca el primer token en streaming, y después 300 pasos de decode secuenciales. Reducir el prompt a la mitad acorta la espera del primer token; no cambia la velocidad a la que llegan los 300 tokens.
Por qué importa
- El tiempo hasta el primer token sigue al tamaño del prompt. Los prompts de sistema largos, los documentos y las listas de herramientas suman trabajo de prefill. Los prefijos en caché se saltan parte de él, y por eso los tokens de entrada en caché pueden hacer que los prompts largos empiecen antes.
- Los tokens por segundo son una cifra de decode. La velocidad de salida depende de lo rápido que se ejecuta cada paso de decode, que es lo que el speculative decoding intenta aumentar.
- Las fases interfieren. Cuando un servidor ejecuta ambas en la misma GPU, un prefill grande puede pausar los decodes de otros usuarios. DistServe reporta “strong prefill-decoding interferences” (traducción: fuertes interferencias entre prefill y decode) y lleva las fases a GPUs distintas. Sarathi-Serve, en cambio, “splits a prefill request into near equal sized chunks” (traducción: divide una solicitud de prefill en trozos de tamaño casi igual) y los planifica “without pausing ongoing decodes” (traducción: sin pausar los decodes en curso).
- Los motores exponen el equilibrio. La guía de ajuste de vLLM dice que el chunked prefill le permite agrupar trozos de prefill con solicitudes de decode. Un
max_num_batched_tokensmás pequeño mejora la latencia entre tokens, mientras que uno más grande favorece el TTFT y el throughput.
La guía de latencia, TTFT y throughput muestra cómo medir ambas fases desde el cliente.
En BroadNet Inference
BroadNet no publica cómo planifican sus servidores el prefill y el decode. Lo que usted puede ver es el efecto: haga streaming de una respuesta como en la guía de streaming, registre el tiempo hasta el primer fragmento de contenido (sobre todo prefill más espera en cola) y el ritmo de los fragmentos posteriores (decode). En GLM 5.3, DeepSeek V4.1 Flash y Qwen3.8 27B, los tokens de razonamiento también se generan en el decode, así que retrasan la respuesta visible y cuentan para max_tokens.
Errores comunes
- Culpar a la velocidad de salida del modelo de un primer token lento. Revise primero la longitud del prompt.
- Hacer benchmarks con un prompt diminuto. Los prompts reales con contexto largo tienen un prefill mucho más largo.