LangGraph — библиотека LangChain для агентов с состоянием и несколькими шагами, построенных в виде графов. Своего клиента для моделей у неё нет: узлы вызывают чат-модель LangChain. Чтобы запустить граф на BroadNet Inference, передайте ему ChatOpenAI из langchain-openai с базовым URL BroadNet. BroadRouter — собственный сайт BroadNet; руководство основано на документации LangGraph и LangChain для LangGraph 1.2.22 и langchain-openai 1.8.
Установка
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Граф с вызовом инструментов
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Узел модели вызывает BroadNet. Если в ответе есть вызовы инструментов, tools_condition направляет граф в узел инструментов, а результат инструмента возвращается модели. Checkpointer хранит диалог для каждого thread_id, поэтому второй invoke с тем же config продолжает его.
Стриминг токенов из графа
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
С stream_mode="messages" ChatOpenAI отправляет BroadNet stream: true, а LangGraph передаёт токены дальше.
Готовый агент
Если собственный граф не нужен, готовый цикл агента принимает ту же модель:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
create_react_agent из langgraph.prebuilt в LangGraph 1.2.22 ещё работает, но выводит предупреждение, что он переехал в langchain.agents.create_agent.
Какую модель выбрать
| Граф | Модель |
|---|---|
| Агенты с инструментами, структурированный вывод | broadnet/glm-5.3 (контекст 1 048 576 токенов) |
| Инструменты плюс изображения на входе или арабский текст | broadnet/qwen3.8-27b (контекст 262 144 токена) |
| Графы без вызовов инструментов, длинные документы | broadnet/deepseek-v4.1-flash |
Документация BroadNet указывает инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. DeepSeek V4.1 Flash — модель безлимитных тарифов, поэтому она подходит для графов, которые резюмируют и маршрутизируют без вызова инструментов. Прежде чем полагаться на неё в цикле с инструментами, проверьте его. Цены на все модели.
Важные настройки
- Оставайтесь на chat completions. BroadNet обслуживает
/v1/chat/completions. Документация LangChain говорит, чтоChatOpenAIпереходит на Responses API, если использовать встроенные инструменты OpenAI, состояние диалога или параметрreasoning. Не используйте их и не задавайтеuse_responses_api=True. - Лимит вывода. У DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждения учитываются в бюджете вывода. Задайте модели
max_tokensот 2 000. В нашем тесте langchain-openai 1.8 отправлял его какmax_completion_tokens. - Параллельные ветви. Каждая ветвь, которая вызывает модель, — отдельный запрос. Ключ с оплатой по факту допускает не больше 4 запросов одновременно, а сессия тарифа обрабатывает один запрос за раз.
Как мы это проверяли
15 ноября 2026 г. мы установили langgraph 1.2.22, langchain-openai 1.8.0 и langchain 1.5.0 в чистое виртуальное окружение. Граф выше, цикл стриминга и create_agent мы запускали против локального mock-сервера, который отвечает в формате chat completions BroadNet и возвращает вызовы инструментов, а затем проверили журнал запросов. Все вызовы ушли на /v1/chat/completions с неизменённым ID модели broadnet/glm-5.3, Bearer-ключом и схемой инструмента, а результат инструмента вернулся сообщением tool. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.
Решение проблем
- 401. Ключ неверный, истёк или исчерпал лимит.
- 404.
base_urlдолжен заканчиваться на/v1. Проверьте ID модели с префиксомbroadnet/. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает толькоbroadnet/gemma-4-26b-a4b. - Агент не вызывает инструменты. Переключитесь на
broadnet/glm-5.3илиbroadnet/qwen3.8-27b. - Пустые ответы. Бюджет вывода ушёл на рассуждения. Увеличьте
max_tokens. Почему ответы приходят пустыми. - 429. Ключ с оплатой по факту допускает 30 запросов в минуту. Добавьте
max_retriesвChatOpenAIи см. ошибки и повторные запросы.
