O LangGraph é a biblioteca do LangChain para agentes com estado e em várias etapas, montados como grafos. Ele não tem cliente de modelo próprio: os seus nós chamam um chat model do LangChain. Para rodar um grafo na BroadNet Inference, passe para ele o ChatOpenAI do langchain-openai com o base URL da BroadNet. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do LangGraph e do LangChain nas versões LangGraph 1.2.22 e langchain-openai 1.8.
Instalação
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Um grafo com chamada de ferramentas
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
O nó do modelo chama a BroadNet. O tools_condition manda o grafo para o nó de ferramentas quando a resposta traz chamadas de ferramenta, e o resultado da ferramenta volta para o modelo. O checkpointer guarda a conversa por thread_id, então um segundo invoke com a mesma config continua a conversa.
Streaming de tokens do grafo
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Com stream_mode="messages", o ChatOpenAI envia stream: true para a BroadNet e o LangGraph repassa os tokens.
O agente pronto (prebuilt)
Se você não precisa de um grafo personalizado, o loop de agente pronto aceita o mesmo modelo:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
O create_react_agent de langgraph.prebuilt ainda roda no LangGraph 1.2.22, mas mostra um aviso de que foi movido para langchain.agents.create_agent.
Qual modelo escolher
| Grafo | Modelo |
|---|---|
| Agentes com ferramentas, saída estruturada | broadnet/glm-5.3 (contexto de 1.048.576 tokens) |
| Ferramentas com entrada de imagem ou texto em árabe | broadnet/qwen3.8-27b (contexto de 262.144 tokens) |
| Grafos sem chamadas de ferramenta, documentos longos | broadnet/deepseek-v4.1-flash |
A documentação da BroadNet lista ferramentas e saída estruturada só para o GLM 5.3 e o Qwen3.8 27B. O DeepSeek V4.1 Flash é o modelo dos planos ilimitados, então serve para grafos de resumo e roteamento que não chamam ferramentas. Teste um loop com ferramentas nele antes de depender disso. Preços de todos os modelos.
Configurações que importam
- Fique em chat completions. A BroadNet serve
/v1/chat/completions. A documentação do LangChain diz que oChatOpenAIpassa para a Responses API quando você usa ferramentas nativas da OpenAI, estado de conversa ou o parâmetroreasoning. Deixe isso de fora e não definause_responses_api=True. - Limite de saída. No DeepSeek V4.1 Flash, no GLM 5.3 e no Qwen3.8 27B, o raciocínio conta para o orçamento de saída. Defina
max_tokenscomo 2.000 ou mais no modelo. No nosso teste, o langchain-openai 1.8 enviou esse valor comomax_completion_tokens. - Ramos paralelos. Cada ramo que chama o modelo é uma requisição separada. Uma chave de pagamento por uso permite 4 requisições em andamento, e uma sessão de plano roda uma de cada vez.
Como testamos
Em 2026-11-15 instalamos o langgraph 1.2.22, o langchain-openai 1.8.0 e o langchain 1.5.0 em um ambiente virtual limpo. Rodamos o grafo acima, o loop de streaming e o create_agent contra um servidor mock local que imita o formato de chat completions da BroadNet e devolve chamadas de ferramenta. Conferimos as requisições registradas. Todas as chamadas foram para /v1/chat/completions com o ID do modelo broadnet/glm-5.3 sem alteração, uma chave Bearer e o schema da ferramenta, e o resultado da ferramenta voltou como mensagem tool. Não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.
Solução de problemas
- 401. A chave está errada, expirou ou ficou sem cota.
- 404. O
base_urlprecisa terminar em/v1. Confira o ID do modelo, com o prefixobroadnet/. Modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. - O agente nunca chama uma ferramenta. Troque para
broadnet/glm-5.3oubroadnet/qwen3.8-27b. - Respostas vazias. O orçamento de saída foi todo para o raciocínio. Aumente
max_tokens. Por que as respostas vêm vazias. - 429. Uma chave de pagamento por uso permite 30 requisições por minuto. Adicione
max_retriesaoChatOpenAIe veja erros e novas tentativas.
