Los tokens por segundo le dicen qué tan rápido llega una respuesta. El throughput le dice cuánto trabajo completa un sistema entero.
Cómo funciona
La guía de benchmarking de NVIDIA separa ambas cosas. El TPS total del sistema es “total output token throughput across all simultaneous requests” (traducción: el throughput total de tokens de salida en todas las solicitudes simultáneas): todos los tokens de salida divididos entre el tiempo que va desde la primera solicitud hasta la última respuesta. El TPS por usuario es la longitud de la salida de una solicitud dividida entre su tiempo de principio a fin. Las solicitudes por segundo (RPS) cuentan solicitudes completadas en lugar de tokens.
La frase clave: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (traducción: a medida que aumenta el número de solicitudes concurrentes, el TPS total del sistema sube mientras el TPS por usuario baja.) El TPS total sube hasta que la GPU se satura, y a partir de ahí puede caer.
En el servidor, el límite suele ser la memoria. El artículo de PagedAttention explica que servir con un throughput alto “requires batching sufficiently many requests at a time” (traducción: requiere agrupar suficientes solicitudes a la vez), y la caché KV de cada solicitud decide cuántas caben. Una mejor gestión de la memoria permitió a vLLM alcanzar de 2 a 4 veces el throughput de sistemas anteriores con la misma latencia.
Por qué importa
Para quien llama a una API, el throughput tiene que ver con su lado de la tubería: cuántos documentos puede procesar por hora o cuántos agentes pueden trabajar a la vez. Sigue una regla sencilla:
your throughput ≈ concurrent requests × per-stream tokens per second
Eso solo se cumple mientras el proveedor mantenga estable la velocidad por stream al aumentar la carga. Mídalo; no lo suponga.
El throughput lo limitan su límite de concurrencia y sus límites de frecuencia, no solo el modelo. Si un trabajo va lento, compruebe si las solicitudes se ejecutan una tras otra cuando podrían ir en paralelo.
En BroadNet Inference
BroadNet publica límites por clave, no una cifra de throughput del sistema. Su página de planes indica una velocidad típica de unos 100 tokens por segundo para DeepSeek V4.1 Flash, el modelo de los planes; no publica velocidades para otros modelos. A modo de ilustración, si cada stream fuera a esa velocidad:
| Opción | Solicitudes en paralelo | Máximo si la velocidad se mantuviera |
|---|---|---|
| Clave de pago por uso | 4 (y 30 solicitudes por minuto) | 4 streams × unos 100 tokens por segundo cada uno |
| Clave por hora (Gemma 4 VL 26B) | 1 stream, 300,000 tokens por minuto | no publicado; mídalo |
| Sesión de plan de tarifa plana | 1 solicitud a la vez | unos 100 tokens por segundo |
Para escalar un plan de tarifa plana, añada sesiones, una por cada agente que trabaje en paralelo; consulte sesiones ilimitadas de la API de LLM y cómo ejecutar agentes de programación en paralelo. Esa velocidad es la cifra típica que declara BroadNet para DeepSeek V4.1 Flash, no una garantía para otros modelos ni bajo carga.