Toda API compartida se protege con límites. Saber cuáles aplican le indica qué tan rápido puede ir y qué hacer cuando alcanza uno.
Cómo funciona
Las APIs de LLM miden varias cosas a la vez. OpenAI, por ejemplo, enumera:
- RPM: solicitudes por minuto
- RPD: solicitudes por día
- TPM: tokens por minuto
- TPD: tokens por día
Se aplica el límite que usted alcance primero. Muchos proveedores también limitan la concurrencia, es decir, la cantidad de solicitudes en curso.
Por encima del límite, el servidor devuelve 429 Too Many Requests. MDN lo describe como que el cliente “sent too many requests in a given amount of time” (traducción: envió demasiadas solicitudes en un periodo determinado). Un encabezado Retry-After puede indicar cuántos segundos esperar.
Un bucle de reintentos seguro:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Los SDKs oficiales de OpenAI ya reintentan los errores 429 y 5xx con backoff; configure max_retries en lugar de escribir su propio bucle.
Por qué importa
- Rendimiento. Su techo real es el más bajo de todos los límites. En una clave limitada a 30 solicitudes por minuto, como las claves de pago por uso de BroadNet, 1,000 solicitudes tardan al menos 1,000 ÷ 30 minutos, sin importar qué tan rápido sea el modelo. La calculadora de límites de frecuencia hace la cuenta con sus propios límites.
- Fiabilidad. Los 429 no gestionados parecen caídas del servicio. El backoff los convierte en demoras cortas.
- Costo. Algunos proveedores también devuelven 429 por topes de gasto, algo común en claves de pago por uso. Lea el cuerpo del error antes de reintentar.
En BroadNet Inference
| Tipo de clave | Límites |
|---|---|
| Pago por uso | 30 solicitudes por minuto, 4 en curso al mismo tiempo |
| Clave por hora | 120 solicitudes por minuto, un stream, 300,000 tokens por minuto |
| Plan ilimitado | Una solicitud a la vez por sesión, sin medidor de tokens |
BroadNet devuelve 429 cuando se alcanza un límite de frecuencia, de concurrencia, de tokens por minuto o de gasto. Aplique backoff y reintente. La guía de errores y reintentos cubre todos los códigos de estado, y qué significa realmente “ilimitado” explica qué límites conserva un plan de tarifa plana.
Errores comunes
- Reintentar errores 401 o 403. Son problemas de la clave o de una política, no límites de frecuencia.
- Ejecutar muchos workers con una sola clave sin un limitador compartido. Cada worker aplica backoff por su cuenta mientras los demás mantienen la clave saturada.