BroadRouter
Comenzar

Concurrencia (concurrency)

Actualizado

La concurrencia es el número de solicitudes que un cliente tiene en curso al mismo tiempo. Las APIs de LLM suelen limitarla por clave o por plan, aparte de las solicitudes por minuto, porque cada solicitud abierta ocupa capacidad de GPU hasta que su respuesta termina.

También llamado: concurrencia, solicitudes concurrentes, solicitudes en paralelo, solicitudes en curso, límite de concurrencia, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Los límites de frecuencia cuentan solicitudes a lo largo del tiempo. La concurrencia cuenta solicitudes en un instante. Las solicitudes a un LLM pueden tardar muchos segundos, así que el segundo límite suele ser el primero que se alcanza.

Cómo funciona

La ley de Little relaciona las tres cifras:

requests in flight = request rate × average time per request (es decir: solicitudes en curso = tasa de solicitudes × tiempo medio por solicitud)

Tome una clave hipotética que permite 5 solicitudes en curso y 60 solicitudes por minuto, donde cada solicitud tarda 20 segundos. El tope de concurrencia permite como máximo 5 ÷ 20 = 0.25 solicitudes por segundo, o 15 por minuto. Nunca llegará a 60 por minuto, porque la concurrencia es el límite que manda. Con solicitudes de 2 segundos, el mismo tope permite 150 por minuto, y entonces manda el límite de frecuencia. La calculadora de límites de frecuencia hace esta cuenta con sus propias cifras.

Las salidas largas, los tokens de razonamiento y los prompts largos alargan las solicitudes, así que consumen la concurrencia más rápido. Una respuesta en streaming ocupa su espacio hasta que termina.

Por qué importa

Los proveedores limitan la concurrencia porque la memoria y el cómputo de las GPU son compartidos. Los benchmarks de NVIDIA muestran que, a medida que sube la concurrencia en un servidor, la salida total aumenta mientras bajan los tokens por segundo de cada solicitud. Un tope por clave evita que un cliente ralentice a todos.

En su aplicación, la concurrencia determina el tamaño de los pools de workers y cuántos agentes pueden ejecutarse en paralelo. Dimensione su pool según el tope, no por encima, o los workers sobrantes solo acumularán errores 429.

En BroadNet Inference

Acceso Concurrencia
Clave de pago por uso 4 solicitudes en curso, más 30 solicitudes por minuto
Clave por hora Un stream
Plan ilimitado Una solicitud a la vez por sesión

Los planes venden concurrencia directamente. Una sesión no tiene medidor de tokens y ejecuta una solicitud a la vez, como trabaja un agente. Las solicitudes de una misma sesión hacen cola una tras otra. Para ejecutar agentes en paralelo, compre una sesión por agente: un orquestador más tres subagentes necesitan cuatro sesiones. Una clave puede tener varias sesiones.

Lea cómo funcionan las sesiones ilimitadas y cómo ejecutar agentes de programación en paralelo con tarifa plana. Los agentes pasan buena parte del tiempo ejecutando herramientas, así que mida el solapamiento real antes de comprar más sesiones.

Errores comunes

  • Iniciar un worker por tarea sin pool. Un lote de 100 tareas se convierte en 100 solicitudes a la vez.
  • Configurar timeouts del cliente más cortos que una respuesta de razonamiento larga. El cliente abandona mientras el espacio sigue ocupado.

Preguntas frecuentes

¿Qué pasa si supero el límite de concurrencia?

Según el proveedor, la solicitud adicional se rechaza, a menudo con un 429, o espera en una cola hasta que se libera un espacio.

¿El streaming ocupa un espacio de concurrencia?

Sí. Una respuesta en streaming ocupa su espacio hasta que llega el último fragmento, así que las salidas largas mantienen ocupado un espacio durante más tiempo.

¿Cuántas solicitudes concurrentes necesita un agente de programación con IA?

Un agente suele necesitar una, porque espera cada respuesta antes de su siguiente paso. Un orquestador con tres subagentes ejecutándose a la vez necesita hasta cuatro: cuatro si el orquestador envía solicitudes mientras ellos trabajan, y tres si los espera.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity