BroadRouter

Como usar o LangChain com a BroadNet Inference

Atualizado em

Instale o langchain-openai e crie o ChatOpenAI com base_url definida como https://inference.broadnet.ai/v1, api_key com a sua chave da BroadNet e um ID de modelo da BroadNet, por exemplo broadnet/glm-5.3. Invoke, streaming e chains com tool calling passam a rodar por chat completions. Evite recursos exclusivos da Responses API e deixe espaço para o raciocínio em max_tokens.

O ChatOpenAI do LangChain aceita qualquer endpoint via base_url. Isso funciona com a BroadNet Inference porque ela usa o formato padrão de chat completions. Se você chama a API diretamente, veja o guia do SDK Python.

Instalação

As versões atuais do langchain-openai (1.x) exigem Python 3.11 ou mais recente.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Conexão

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base é um alias de base_url. Sem nenhum dos dois, o LangChain lê OPENAI_API_BASE, e depois o cliente openai por baixo lê OPENAI_BASE_URL. O comentário no código lembra que o raciocínio conta para o limite de max_tokens.

O que você precisa saber

  • O texto do raciocínio não é mantido. A documentação do LangChain diz que o ChatOpenAI segue a especificação oficial da OpenAI e não mantém campos fora do padrão, como reasoning_content. Você recebe a resposta final, que costuma ser o que uma chain precisa.
  • Deixe espaço para o raciocínio. GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B raciocinam antes de responder. Um max_tokens pequeno pode devolver uma resposta vazia. Por que as respostas vêm vazias.
  • Usage no streaming. Quando você configura o endpoint com OPENAI_BASE_URL, o LangChain desliga stream_usage por padrão. Passe stream_usage=True se quiser a contagem de tokens durante o streaming. A documentação da BroadNet diz que o usage chega no último chunk quando é solicitado.
  • Fique em chat completions. A BroadNet oferece /v1/chat/completions, não a Responses API. Segundo a documentação do LangChain, o ChatOpenAI muda para a Responses API quando você usa as ferramentas nativas da OpenAI (web search, file search, code interpreter e similares), estado de conversa ou o parâmetro reasoning. Deixe isso de fora e não defina use_responses_api=True.
  • Nome do limite de tokens. Segundo a documentação do LangChain, max_tokens é convertido internamente em max_completion_tokens. A documentação da BroadNet descreve max_tokens. Se um limite parecer ignorado, confira a requisição que o seu app realmente envia.

Qual modelo para cada chain

Chain Modelo
Tool calling e saída estruturada broadnet/glm-5.3
Documentos longos e agentes, plano ilimitado broadnet/deepseek-v4.1-flash
Texto em árabe ou imagens broadnet/qwen3.8-27b

Veja os preços de todos os modelos.

Solução de problemas

  • 401. A chave está errada, expirou ou ficou sem cota de pagamento por uso. Se você não passou api_key, o LangChain usou OPENAI_API_KEY, que pode conter uma chave da OpenAI.
  • 404 ou “not found”. Confira se base_url termina em /v1 e se nada está desviando a chamada para a Responses API (veja acima). Depois confira se o ID do modelo é exatamente o da BroadNet, com o prefixo broadnet/. Modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • content vazio. O raciocínio consumiu o orçamento. Aumente max_tokens. Por que as respostas vêm vazias.
  • As chamadas de ferramenta nunca acontecem. Use broadnet/glm-5.3 ou broadnet/qwen3.8-27b. A documentação da BroadNet lista ferramentas só para esses dois.
  • 429 em chains em lote ou paralelas. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. Defina max_concurrency na configuração do runnable para batch(). Veja códigos de erro e novas tentativas.

Perguntas frequentes

No ChatOpenAI, uso base_url ou openai_api_base?

Tanto faz. openai_api_base é um alias de base_url. Se você não passar nenhum dos dois, o LangChain confere OPENAI_API_BASE e, depois, o client openai lê OPENAI_BASE_URL.

Dá para configurar o endpoint da BroadNet só com variáveis de ambiente?

Sim. Defina OPENAI_BASE_URL como https://inference.broadnet.ai/v1 e OPENAI_API_KEY com a sua chave da BroadNet, e crie o ChatOpenAI passando só o ID do modelo. Passe stream_usage=True se quiser a contagem de tokens durante o streaming.

Por que o LangChain descarta o reasoning_content das respostas da BroadNet?

A documentação do LangChain diz que o ChatOpenAI segue a especificação oficial da OpenAI e não extrai campos fora do padrão, como reasoning_content. A resposta final em content chega normalmente.

O ChatOpenAI com a BroadNet suporta tool calling?

Sim, via bind_tools, nos modelos para os quais a BroadNet lista ferramentas. Para tool calling e with_structured_output, use broadnet/glm-5.3 ou broadnet/qwen3.8-27b.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity