BroadRouter
Comenzar

Throughput (rendimiento total)

Actualizado

El throughput, en el servicio de LLMs, es la cantidad total de trabajo que un sistema completa por unidad de tiempo en todas las solicitudes concurrentes, normalmente medida en tokens de salida por segundo o solicitudes por segundo. Es distinto de la velocidad por stream, que es qué tan rápido recibe sus tokens una sola solicitud.

También llamado: throughput, rendimiento total, rendimiento del sistema, tokens por segundo totales, solicitudes por segundo, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Los tokens por segundo le dicen qué tan rápido llega una respuesta. El throughput le dice cuánto trabajo completa un sistema entero.

Cómo funciona

La guía de benchmarking de NVIDIA separa ambas cosas. El TPS total del sistema es “total output token throughput across all simultaneous requests” (traducción: el throughput total de tokens de salida en todas las solicitudes simultáneas): todos los tokens de salida divididos entre el tiempo que va desde la primera solicitud hasta la última respuesta. El TPS por usuario es la longitud de la salida de una solicitud dividida entre su tiempo de principio a fin. Las solicitudes por segundo (RPS) cuentan solicitudes completadas en lugar de tokens.

La frase clave: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (traducción: a medida que aumenta el número de solicitudes concurrentes, el TPS total del sistema sube mientras el TPS por usuario baja.) El TPS total sube hasta que la GPU se satura, y a partir de ahí puede caer.

En el servidor, el límite suele ser la memoria. El artículo de PagedAttention explica que servir con un throughput alto “requires batching sufficiently many requests at a time” (traducción: requiere agrupar suficientes solicitudes a la vez), y la caché KV de cada solicitud decide cuántas caben. Una mejor gestión de la memoria permitió a vLLM alcanzar de 2 a 4 veces el throughput de sistemas anteriores con la misma latencia.

Por qué importa

Para quien llama a una API, el throughput tiene que ver con su lado de la tubería: cuántos documentos puede procesar por hora o cuántos agentes pueden trabajar a la vez. Sigue una regla sencilla:

your throughput ≈ concurrent requests × per-stream tokens per second

Eso solo se cumple mientras el proveedor mantenga estable la velocidad por stream al aumentar la carga. Mídalo; no lo suponga.

El throughput lo limitan su límite de concurrencia y sus límites de frecuencia, no solo el modelo. Si un trabajo va lento, compruebe si las solicitudes se ejecutan una tras otra cuando podrían ir en paralelo.

En BroadNet Inference

BroadNet publica límites por clave, no una cifra de throughput del sistema. Su página de planes indica una velocidad típica de unos 100 tokens por segundo para DeepSeek V4.1 Flash, el modelo de los planes; no publica velocidades para otros modelos. A modo de ilustración, si cada stream fuera a esa velocidad:

Opción Solicitudes en paralelo Máximo si la velocidad se mantuviera
Clave de pago por uso 4 (y 30 solicitudes por minuto) 4 streams × unos 100 tokens por segundo cada uno
Clave por hora (Gemma 4 VL 26B) 1 stream, 300,000 tokens por minuto no publicado; mídalo
Sesión de plan de tarifa plana 1 solicitud a la vez unos 100 tokens por segundo

Para escalar un plan de tarifa plana, añada sesiones, una por cada agente que trabaje en paralelo; consulte sesiones ilimitadas de la API de LLM y cómo ejecutar agentes de programación en paralelo. Esa velocidad es la cifra típica que declara BroadNet para DeepSeek V4.1 Flash, no una garantía para otros modelos ni bajo carga.

Preguntas frecuentes

¿El throughput es lo mismo que los tokens por segundo?

Solo a nivel de sistema. Los tokens por segundo por stream son la velocidad que ve una solicitud. El throughput suma todos los streams. NVIDIA los llama TPS por usuario y TPS total del sistema.

¿Cómo obtengo más throughput de una API de LLM?

Ejecute más solicitudes en paralelo, hasta sus límites de concurrencia y de frecuencia, y mantenga cada solicitud corta. Si cada solicitud ya aprovecha por completo su espacio, la única forma de subir es tener más espacios, claves o sesiones.

¿Más throughput significa menos latencia?

No. El throughput es el trabajo total por segundo en todas las solicitudes; la latencia es cuánto tarda una solicitud. Atender más solicitudes a la vez aumenta el throughput total, pero puede ralentizar cada solicitud, y por eso NVIDIA informa por separado el TPS por usuario y el TPS total.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity