La velocidad tiene dos partes: cuánto tarda en aparecer algo y qué tan rápido fluye el texto después. Los tokens por segundo miden la segunda.
Cómo funciona
La documentación de benchmarking de NVIDIA define las métricas relacionadas:
- Tiempo hasta el primer token (TTFT): desde que se envía la solicitud hasta que llega el primer token. Crece con la longitud del prompt.
- Latencia entre tokens (ITL): el intervalo medio entre tokens de salida.
- TPS por usuario: los tokens de salida de una solicitud divididos entre su tiempo de principio a fin, así que en la definición de NVIDIA incluye el TTFT. Muchos paneles indican en cambio la velocidad de decodificación después del primer token, como hace esta página.
- TPS del sistema: el total de tokens de salida en todas las solicitudes simultáneas, también llamado throughput.
Tiran en direcciones opuestas. NVIDIA señala que, a medida que sube la concurrencia, el TPS del sistema aumenta mientras el TPS por usuario baja. La cifra de marketing de un proveedor y la velocidad de su solicitud individual pueden ser ambas honestas y aun así diferir.
Una estimación rápida para una respuesta:
total time ≈ TTFT + output tokens ÷ tokens per second (es decir: tiempo total ≈ TTFT + tokens de salida ÷ tokens por segundo)
Tome como ilustración un stream de 50 tokens por segundo: una respuesta de 1,000 tokens tarda unos 20 segundos después del primer token. Si el modelo además escribe 2,000 tokens de razonamiento, sume unos 40 segundos antes de que empiece la respuesta. El tiempo hasta el primer token se añade encima.
Por qué importa
- Experiencia de usuario. El streaming muestra el texto a medida que llega, así que el TTFT y los TPS deciden qué tan rápida se siente una respuesta.
- Throughput de agentes. Un agente de programación espera cada respuesta antes de su siguiente paso. Una salida más rápida significa más pasos por hora.
- Límites del plan. En un plan sin medidor de tokens, la velocidad se convierte en el verdadero techo de cuántos tokens puede usar.
En BroadNet Inference
La página de planes de BroadNet indica una velocidad típica de unos 100 tokens por segundo para DeepSeek V4.1 Flash. Una sesión de los planes ilimitados ejecuta una solicitud a la vez, así que, a esa velocidad, una sesión que generara sin parar durante 30 días produciría unos 259 millones de tokens de salida. Los agentes reales dedican tiempo a leer, ejecutar herramientas y esperar, así que la cifra práctica es menor.
Para obtener más throughput total en un plan, añada sesiones: una por cada agente que trabaje en paralelo. Consulte cómo funcionan las sesiones ilimitadas y cómo ejecutar agentes de programación en paralelo.
Errores comunes
- Comparar proveedores con una sola solicitud. Mida TTFT y TPS en muchas solicitudes, con sus propios tamaños de prompt.
- Olvidar el tiempo de razonamiento al configurar los timeouts del cliente.