BroadRouter

Cómo enrutar LiteLLM a BroadNet Inference (SDK y proxy)

Actualizado

En LiteLLM, anteponga openai/ al ID de modelo de BroadNet, como en openai/broadnet/glm-5.3, y configure api_base en https://inference.broadnet.ai/v1 con su clave de BroadNet como api_key. En el proxy, ponga esos mismos valores bajo litellm_params en config.yaml y asigne al modelo un model_name corto.

LiteLLM ofrece una sola interfaz para muchos proveedores de LLM, como SDK de Python y como servidor proxy. Para llegar a una API compatible con OpenAI, su documentación indica dos cosas: poner openai/ delante del nombre del modelo y configurar api_base. BroadNet Inference usa esa ruta.

1. SDK de Python

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ selecciona la ruta; LiteLLM envía broadnet/glm-5.3 a BroadNet. No agregue nada a la URL base; el cliente de OpenAI de LiteLLM añade la ruta del endpoint.

La documentación de LiteLLM señala que la ruta openai usa la biblioteca oficial de OpenAI para Python, que necesita una clave de API en cada solicitud. Pase api_key de forma explícita, como arriba, para que LiteLLM nunca recurra a un OPENAI_API_KEY pensado para la propia OpenAI. La respuesta vuelve con el formato de OpenAI, así que el resto de su código no cambia.

Cuándo usar el proxy

El SDK basta dentro de una sola aplicación de Python. El proxy ayuda cuando varias aplicaciones o lenguajes necesitan los mismos modelos: todas llaman a un único endpoint al estilo de OpenAI con nombres de modelo cortos, y el proxy guarda la clave de BroadNet, aplica límites de frecuencia y registra el uso. Así, sus aplicaciones no necesitan ninguna configuración específica de BroadNet.

2. Servidor proxy

Instale los extras del proxy y escriba config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Inícielo y llámelo como a cualquier endpoint de OpenAI:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM le indica a LiteLLM que lea esa clave del entorno. Cada entrada usa su propia clave de pago por uso de BroadNet, así que rpm: 30, el límite de frecuencia opcional de LiteLLM por despliegue, coincide con el límite de cada clave. Si varias entradas comparten una clave, comparten también ese único límite, así que reparta el número entre ellas. master_key hace que el proxy exija una clave en cada llamada; la documentación de LiteLLM dice que debe empezar por sk-. Exporte LITELLM_MASTER_KEY antes de iniciar el proxy.

Qué modelo elegir

model_name Modelo de BroadNet Uso
glm GLM 5.3 Herramientas, salida estructurada, contexto de 1M
deepseek-flash DeepSeek V4.1 Flash Contexto largo; el modelo del plan ilimitado
qwen Qwen3.8 27B Imágenes, herramientas, árabe
(agréguelo si lo necesita) Gemma 4 VL 26B Precio por token bajo; funciona con el crédito de $5

Los precios están en la página de precios. Si viene de otro gateway, la lista de verificación de migración cubre qué probar.

Solución de problemas

  • 401. La clave de BroadNet es incorrecta, venció o se quedó sin saldo de pago por uso. Si el 401 viene del propio proxy, revise en cambio la clave de LiteLLM que envió.
  • Not Found. Asegúrese de que api_base sea https://inference.broadnet.ai/v1 con /v1. Si la URL base es correcta, verifique que el ID de modelo después de openai/ coincida exactamente con el de BroadNet.
  • Modelo rechazado en una cuenta nueva. GLM 5.3, Qwen3.8 27B y DeepSeek V4.1 Flash requieren primero una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • Contenido vacío. El razonamiento cuenta para max_tokens. Auméntelo o envíe reasoning_effort="low". Por qué las respuestas llegan vacías.
  • 429. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. El rpm de LiteLLM ayuda con lo primero; mantenga 4 llamadores simultáneos o menos por clave. Consulte errores y reintentos.
  • Agentes en paralelo con una clave de plan. Una sesión de plan ejecuta una solicitud a la vez. Ejecutar varios agentes a través del proxy con una sola sesión los pone en fila; compre una sesión por cada agente en paralelo.

Preguntas frecuentes

¿Por qué LiteLLM devuelve un error Not Found?

La documentación de LiteLLM indica que debe asegurarse de que api_base termine en /v1. Use https://inference.broadnet.ai/v1 y no agregue /chat/completions.

¿Por qué el nombre del modelo es openai/broadnet/glm-5.3?

El prefijo openai/ le indica a LiteLLM que llame a un endpoint /chat/completions al estilo de OpenAI. LiteLLM usa el prefijo para elegir la ruta y envía el resto, broadnet/glm-5.3, que es el ID de modelo de BroadNet.

¿Puedo poner una clave de plan ilimitado de BroadNet detrás de un proxy LiteLLM compartido?

Las claves de plan no se pueden compartir ni revender, y una sesión ejecuta una solicitud a la vez. Úselas para sus propios agentes. Para un proxy de equipo, use claves de pago por uso.

¿LiteLLM necesita OPENAI_API_KEY para llamar a BroadNet?

La ruta openai necesita una clave en cada solicitud, tomada de api_key o de OPENAI_API_KEY. Pase su clave de BroadNet como api_key, u os.environ/BROADNET_API_KEY en el proxy, para que LiteLLM no envíe una clave real de OpenAI a BroadNet.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity