BroadRouter

Límite de gasto (spend limit)

Actualizado

Un límite de gasto es un tope a cuánto puede gastar una cuenta, un proyecto o una clave de API en un periodo, normalmente un mes. Cuando el uso lo alcanza, el proveedor rechaza las solicitudes siguientes, a menudo con un error HTTP 429 o 400, hasta que el periodo se reinicia o se aumenta el límite.

También llamado: tope de gasto, límite de consumo, presupuesto de API, tope de uso, spend limit, spending limit, spend cap, budget cap, usage cap

Un límite de frecuencia controla qué tan rápido puede gastar. Un límite de gasto controla cuánto.

Cómo funciona

Los proveedores combinan varios topes. Dos ejemplos documentados:

Proveedor Control Qué pasa al alcanzarlo
Anthropic Tope de gasto por nivel y mes calendario (Start, Build, Scale; Custom no tiene) El uso se pausa hasta las 00:00 UTC del día 1 del mes siguiente; HTTP 429 rate_limit_error con error.details.error_code enforced_spend_limit_reached, sin retry-after
Anthropic Su propio límite inferior, de organización o de workspace HTTP 400 invalid_request_error, con un mensaje que empieza por “You have reached your specified API usage limits” (traducción: ha alcanzado los límites de uso de la API que especificó)
OpenAI Límite de uso mensual por nivel No se describe en la guía
OpenAI Alerta de gasto Envía una notificación; el tráfico continúa
OpenAI Límite de gasto estricto, de organización o de proyecto Las solicitudes afectadas devuelven 429

Los topes por nivel de Anthropic son USD 500 (Start), USD 1,000 (Build) y USD 200,000 (Scale) al mes. La guía de OpenAI lista límites de uso mensuales por nivel, desde USD 100 en Free hasta USD 200,000 en Grow, y dice que los niveles suben a medida que el total de compras de crédito supera ciertos umbrales.

Lo complicado es que un 429 por límite de gasto se parece a un 429 por límite de frecuencia. En la API de Anthropic, el código de error los distingue, y la respuesta por tope de gasto no trae encabezado retry-after:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Por qué importa

  • Las alertas llegan tarde. Un bucle rápido puede gastar mucho antes de que llegue un correo. Un tope estricto lo detiene.
  • Los reintentos lo empeoran. Un cliente que aplica backoff y reintenta cada 429 golpeará inútilmente un tope de gasto. Distinga los dos casos.
  • Topes compartidos. Un tope a nivel de cuenta compartido por muchas apps permite que un solo trabajo descontrolado bloquee a los demás. Los presupuestos por proyecto, o un presupuesto propio en el código, los mantienen separados.

En BroadNet Inference

La referencia de la API de BroadNet lista seis límites en una clave de pago por uso. Los tres que acotan el costo y el rendimiento son 30 solicitudes por minuto, 4 en curso, y el gasto, definido como “the native budget shared by the account’s pay-as-you-go keys” (traducción: el presupuesto nativo compartido por las claves de pago por uso de la cuenta); los demás son los modelos permitidos, una vida útil de la clave de un año y hasta diez claves activas por cuenta. La cuenta es prepaga, así que el saldo es el tope exterior. Importan dos códigos de estado:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (traducción: se alcanzó un límite de frecuencia, de concurrencia, de tokens por unidad de tiempo o de gasto.)
  • 401: una clave ausente, no válida o vencida, o una cuenta cuyo presupuesto compartido de pago por uso está bloqueado (la documentación dice “a blocked native PAYG budget holder” (traducción: un titular de presupuesto PAYG nativo bloqueado)), “including exhausted PAYG allowance” (traducción: incluida una asignación PAYG agotada).

La página de privacidad de BroadNet dice que las claves tienen alcance por modelo, frecuencia y gasto, pero la referencia de la API no muestra ningún ajuste de presupuesto por clave ni por proyecto, así que incluya en su propio código una verificación del presupuesto acumulado antes de cada solicitud, como en control de gasto en APIs de LLM. Para un peor caso fijo, un plan de tarifa plana o una clave por hora a $0.50 limita el gasto por diseño. El manejo de reintentos está en la guía de errores y reintentos.

Preguntas frecuentes

¿Debo reintentar una solicitud que alcanzó un límite de gasto?

No. Anthropic indica que su 429 por tope de gasto no incluye encabezado retry-after y que los reintentos fallan hasta que se restablece el acceso. Avise a una persona o detenga el trabajo.

¿Una alerta de gasto es lo mismo que un límite de gasto?

No. OpenAI distingue una alerta de gasto, que solo notifica y deja seguir el tráfico, de un límite de gasto estricto, que hace que las solicitudes devuelvan 429.

¿Puedo fijar un presupuesto distinto por clave de BroadNet?

La página de privacidad de BroadNet dice que las claves de API con alcance controlan el acceso por modelo, frecuencia y gasto, pero su referencia de la API documenta el gasto de una clave de pago por uso como el presupuesto nativo compartido por las claves de la cuenta y no muestra ningún ajuste de presupuesto por clave. Revise los detalles de su clave y aplique presupuestos por aplicación en su propio código.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity