BroadRouter

Use o DSPy com a BroadNet Inference (defina model_type="chat")

Atualizado em

Crie o dspy.LM com o modelo "openai/broadnet/glm-5.3", model_type="chat", api_base como https://inference.broadnet.ai/v1 e a sua api_key da BroadNet, depois passe-o para dspy.configure. O model_type="chat" é essencial: o DSPy 3.5 manda por padrão modelos com prefixo openai/ para a Responses API, que a BroadNet não serve. No nosso teste com servidor mock, sem ele a chamada foi para /v1/responses e recebeu 404, e o endpoint real da BroadNet também responde a esse caminho com 404.

O DSPy é um framework Python para programar modelos de linguagem com signatures e módulos, e para otimizar os prompts por trás deles. Você o conecta a um modelo com dspy.LM. A documentação do DSPy mostra servidores compatíveis com a OpenAI como um modelo openai/ com api_base. Para a BroadNet Inference, que serve chat completions em https://inference.broadnet.ai/v1, você também precisa de model_type="chat". O BroadRouter é o site da própria BroadNet; este guia segue a documentação do DSPy 3.5.

Instalação

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Conexão

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ diz ao DSPy para usar o cliente OpenAI dele. O resto da string, broadnet/glm-5.3, é o ID do modelo enviado à BroadNet.
  • model_type="chat" mantém o DSPy em /v1/chat/completions. A referência do LM do DSPy diz que o padrão, 'auto', faz os modelos OpenAI “use Responses” (tradução: “usarem a Responses”).
  • max_tokens deixa espaço para o raciocínio. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B pensam antes de responder, e esse raciocínio conta para o limite.

O que acontece sem model_type

O exemplo da página de instalação do DSPy para um servidor compatível com a OpenAI omite model_type. No nosso teste com o DSPy 3.5.0, isso mandou a requisição para /v1/responses com max_output_tokens, e a chamada falhou:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Esse erro veio do nosso servidor mock. O endpoint real da BroadNet também respondeu a /v1/responses com 404 quando conferimos, em 2026-11-16. Adicionar model_type="chat" resolveu.

Módulos e modelos

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Uso no DSPy Modelo
Predict, ChainOfThought, execuções de otimizador broadnet/deepseek-v4.1-flash (preço por token baixo; planos de preço fixo)
ReAct e outros módulos que chamam ferramentas broadnet/glm-5.3 ou broadnet/qwen3.8-27b
Testar o DSPy com o crédito inicial broadnet/gemma-4-26b-a4b (contexto de 32.768 tokens)

A documentação da BroadNet lista ferramentas e saída estruturada só para GLM 5.3 e Qwen3.8 27B. Você pode usar um modelo para o programa e outro para o otimizador, cada um com o seu dspy.LM. Preços de todos os modelos.

Como testamos

Em 2026-11-15 instalamos o dspy 3.5.0 em um ambiente virtual limpo e rodamos dspy.Predict contra um servidor mock local que fala o formato de chat completions da BroadNet e responde a /v1/responses com 404. Sem model_type, o DSPy chamou /v1/responses e falhou. Com model_type="chat", ele chamou /v1/chat/completions com o ID de modelo broadnet/glm-5.3 e uma chave Bearer, e leu o campo answer. Vimos que o DSPy enviou o limite de saída como max_completion_tokens. A referência da API da BroadNet descreve max_tokens e não menciona max_completion_tokens, então não podemos confirmar que a BroadNet aplica um limite enviado dessa forma. Testamos contra um servidor mock, não com uma chave da BroadNet, então não conferimos a saída real do modelo.

Solução de problemas

  • 404 em /v1/responses. Adicione model_type="chat".
  • 404 em /v1/chat/completions. api_base precisa terminar em /v1, e a string do modelo precisa ser openai/ mais o ID completo da BroadNet. Modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • “Expected to find output fields”. A resposta veio vazia ou cortada, muitas vezes porque o raciocínio gastou o orçamento de saída. Aumente max_tokens. Por que as respostas vêm vazias.
  • 429 durante a otimização. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Reduza o número de threads do otimizador e veja erros e novas tentativas.

Perguntas frequentes

Por que o DSPy chama /v1/responses na BroadNet?

A referência do dspy.LM do DSPy 3.5 diz que model_type "auto", o padrão, faz os modelos OpenAI usarem a Responses API. Um modelo openai/ com api_base personalizado é tratado do mesmo jeito. Passe model_type="chat" para usar chat completions, que é o que a BroadNet serve.

Como escrever o ID do modelo da BroadNet no DSPy?

Coloque openai/ antes do ID da BroadNet, por exemplo openai/broadnet/glm-5.3. O DSPy usa o openai/ para escolher o cliente e, no nosso teste, enviou broadnet/glm-5.3 como modelo.

Qual modelo da BroadNet combina com os otimizadores do DSPy?

Otimizadores fazem muitas chamadas, então custo e rate limits pesam. O DeepSeek V4.1 Flash tem preço por token baixo e é o modelo dos planos de preço fixo da BroadNet, que não são medidos por token. Use GLM 5.3 ou Qwen3.8 27B para módulos que chamam ferramentas, como o ReAct.

O cache do DSPy faz diferença com a BroadNet?

O DSPy guarda em cache as chamadas ao modelo por padrão (cache=True), então repetir a mesma chamada não custa nada. Defina cache=False enquanto testa a conexão, ou você pode estar vendo uma resposta do cache.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity