BroadRouter

DSPy con BroadNet Inference (defina model_type="chat")

Actualizado

Cree dspy.LM con el modelo "openai/broadnet/glm-5.3", model_type="chat", api_base en https://inference.broadnet.ai/v1 y su api_key de BroadNet, y páselo a dspy.configure. model_type="chat" es clave: DSPy 3.5 envía por defecto los modelos con prefijo openai a la Responses API, que BroadNet no sirve. En nuestra prueba con un servidor simulado, sin él la llamada fue a /v1/responses y recibió un 404, y el endpoint real de BroadNet también responde a esa ruta con un 404.

DSPy es un framework de Python para programar modelos de lenguaje con firmas (signatures) y módulos, y para optimizar los prompts que hay detrás. Se conecta a un modelo con dspy.LM. La documentación de DSPy presenta los servidores compatibles con OpenAI como un modelo openai/ con api_base. Con BroadNet Inference, que sirve chat completions en https://inference.broadnet.ai/v1, también necesita model_type="chat". BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de DSPy 3.5.

Instalación

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Conexión

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ le indica a DSPy que use su cliente de OpenAI. El resto de la cadena, broadnet/glm-5.3, es el ID de modelo que se envía a BroadNet.
  • model_type="chat" mantiene a DSPy en /v1/chat/completions. La referencia de LM de DSPy dice que el valor predeterminado, 'auto', hace que los modelos de OpenAI “use Responses” (traducción: usen Responses).
  • max_tokens deja margen para el razonamiento. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B piensan antes de responder, y ese razonamiento cuenta dentro del límite.

Qué pasa sin model_type

El ejemplo de la página de instalación de DSPy para un servidor compatible con OpenAI omite model_type. En nuestra prueba con DSPy 3.5.0, eso envió la solicitud a /v1/responses con max_output_tokens, y la llamada falló:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Ese error vino de nuestro servidor simulado (mock). El endpoint real de BroadNet también respondió a /v1/responses con un 404 cuando lo comprobamos el 2026-11-16. Agregar model_type="chat" lo resolvió.

Módulos y modelos

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Uso en DSPy Modelo
Predict, ChainOfThought, ejecuciones de optimizadores broadnet/deepseek-v4.1-flash (precio por token bajo; planes de precio fijo)
ReAct y otros módulos que llaman a herramientas broadnet/glm-5.3 o broadnet/qwen3.8-27b
Probar DSPy con el crédito inicial broadnet/gemma-4-26b-a4b (contexto de 32,768 tokens)

La documentación de BroadNet indica herramientas y salida estructurada solo para GLM 5.3 y Qwen3.8 27B. Puede usar un modelo para el programa y otro para un optimizador, cada uno con su propio dspy.LM. Precios de todos los modelos.

Cómo lo probamos

El 2026-11-15 instalamos dspy 3.5.0 en un entorno virtual limpio y ejecutamos dspy.Predict contra un servidor simulado local que habla el formato de chat completions de BroadNet y responde a /v1/responses con un 404. Sin model_type, DSPy llamó a /v1/responses y falló. Con model_type="chat", llamó a /v1/chat/completions con el ID de modelo broadnet/glm-5.3 y una clave Bearer, y analizó el campo answer. Observamos que DSPy envió el límite de salida como max_completion_tokens. La referencia de la API de BroadNet describe max_tokens y no menciona max_completion_tokens, así que no podemos confirmar que BroadNet aplique un límite enviado de esa forma. Probamos contra un servidor simulado, no con una clave de BroadNet, así que no comprobamos la salida de un modelo real.

Solución de problemas

  • 404 en /v1/responses. Agregue model_type="chat".
  • 404 en /v1/chat/completions. api_base debe terminar en /v1, y la cadena del modelo debe ser openai/ más el ID completo de BroadNet. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • “Expected to find output fields”. (Traducción: se esperaba encontrar campos de salida.) La respuesta llegó vacía o cortada, a menudo porque el razonamiento agotó el presupuesto de salida. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • 429 durante la optimización. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Reduzca el número de hilos del optimizador y consulte errores y reintentos.

Preguntas frecuentes

¿Por qué DSPy llama a /v1/responses en BroadNet?

La referencia de dspy.LM de DSPy 3.5 indica que model_type 'auto', el valor predeterminado, hace que los modelos de OpenAI usen la Responses API. Un modelo openai/ con un api_base personalizado se trata igual. Pase model_type="chat" para usar chat completions, que es lo que sirve BroadNet.

¿Cómo escribo el ID de modelo de BroadNet en DSPy?

Anteponga openai/ al ID de BroadNet, por ejemplo openai/broadnet/glm-5.3. DSPy usa openai/ para elegir el cliente y, en nuestra prueba, envió broadnet/glm-5.3 como modelo.

¿Qué modelo de BroadNet conviene para los optimizadores de DSPy?

Los optimizadores hacen muchas llamadas, así que el costo y los límites de tasa importan. DeepSeek V4.1 Flash tiene un precio por token bajo y es el modelo de los planes de precio fijo de BroadNet, que no se miden por token. Use GLM 5.3 o Qwen3.8 27B para módulos que llaman a herramientas, como ReAct.

¿Influye la caché de DSPy al usar BroadNet?

DSPy guarda en caché las llamadas al LM por defecto (cache=True), así que repetir la misma llamada no cuesta nada. Defina cache=False mientras comprueba la conexión, o podría estar viendo una respuesta en caché.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity