La latencia es el número que sienten los usuarios. También es el que más suele sorprender a los equipos que pasan de una demo a producción.
Cómo funciona
La guía de métricas de NVIDIA da la fórmula básica para una solicitud:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
El tiempo hasta el primer token abarca la red, la espera en cola y la lectura del prompt. El tiempo de generación es todo lo que ocurre después del primer token: (tokens de salida − 1) × latencia entre tokens (ITL), o aproximadamente tokens de salida × ITL en una respuesta larga. La latencia de extremo a extremo, según NVIDIA, “includes queueing, batching, and network latency” (traducción: incluye la espera en cola, el procesamiento por lotes y la latencia de red).
Un ejemplo con números redondos: suponga que un modelo transmite 50 tokens de salida por segundo. Una respuesta de 600 tokens tarda 600 ÷ 50 = 12 segundos en generarse. Sume un segundo de TTFT y la solicitud tarda unos 13 segundos. Si reduce la respuesta a la mitad, ahorra 6 segundos; si reduce el TTFT a la mitad, ahorra medio segundo. Aquí domina la longitud de la salida.
En una aplicación, una solicitud rara vez va sola. La latencia en la pantalla del usuario también incluye los reintentos tras errores, la espera por un espacio de concurrencia, las llamadas a herramientas entre turnos del modelo y su propio código.
Por qué importa
La guía de latencia de OpenAI enumera siete principios: procesar tokens más rápido, generar menos tokens, usar menos tokens de entrada, hacer menos solicitudes, paralelizar, hacer esperar menos a los usuarios y no recurrir a un LLM por defecto. La mayoría son decisiones de diseño, no de proveedor.
Reporte percentiles. Un p50 de 4 segundos con un p95 de 30 segundos significa que uno de cada veinte usuarios espera medio minuto o más. Los promedios ocultan esa cola, y los timeouts se definen en función de ella.
La latencia y el throughput tiran en direcciones opuestas. NVIDIA señala que, a medida que crecen las solicitudes simultáneas, sube el total de tokens por segundo del sistema mientras bajan los tokens por segundo por usuario. Un proveedor ocupado puede atender a más personas y aun así parecer más lento para cada una.
En BroadNet Inference
La página de planes de BroadNet indica una velocidad típica de unos 100 tokens por segundo. Su documentación no publica cifras de TTFT ni de latencia por percentiles. Una clave de pago por uso permite 4 solicitudes en curso; la documentación incluye un límite de concurrencia entre las causas del HTTP 429, y cada reintento posterior suma latencia de su lado. Las ejecuciones largas de agentes deben fijar timeouts y reintentos acotados; consulte timeouts y reintentos para agentes de larga duración. Para medir cada parte desde el cliente, consulte la guía de latencia de LLM.