LangGraph 是 LangChain 推出的库,用图的方式构建有状态、多步骤的智能体。它没有自己的模型客户端:由你的节点调用 LangChain 的对话模型。要在 BroadNet Inference 上运行图,就给它一个 langchain-openai 中的 ChatOpenAI,并配上 BroadNet 的 base URL。BroadRouter 是 BroadNet 自己的网站;本文依据的是 LangGraph 1.2.22 和 langchain-openai 1.8 时的 LangGraph 与 LangChain 文档。
安装
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
一个调用工具的图
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
模型节点调用 BroadNet。当回复中包含工具调用时,tools_condition 把图引向工具节点,工具结果再回到模型。checkpointer 按 thread_id 保存对话,所以用同一个 config 再次 invoke 就会接着之前的对话继续。
从图中流式输出 token
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
使用 stream_mode="messages" 时,ChatOpenAI 会向 BroadNet 发送 stream: true,LangGraph 把 token 原样传出。
预构建智能体
如果不需要自定义图,预构建的智能体循环可以直接使用同一个模型:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
langgraph.prebuilt 中的 create_react_agent 在 LangGraph 1.2.22 里仍然能运行,但会打印警告,提示它已迁移到 langchain.agents.create_agent。
选哪个模型
| 图 | 模型 |
|---|---|
| 带工具的智能体、结构化输出 | broadnet/glm-5.3(1,048,576 token 上下文) |
| 工具加图片输入或阿拉伯语文本 | broadnet/qwen3.8-27b(262,144 token 上下文) |
| 不调用工具的图、长文档 | broadnet/deepseek-v4.1-flash |
BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。DeepSeek V4.1 Flash 是不限量套餐上的模型,适合不调用工具的“总结并路由”类图。在依赖它跑工具循环之前,先测试一下。所有模型的价格。
需要注意的设置
- 保持使用 chat completions。 BroadNet 提供的是
/v1/chat/completions。LangChain 的文档说,当你使用 OpenAI 内置工具、对话状态或reasoning参数时,ChatOpenAI会切换到 Responses API。不要用这些功能,也不要设置use_responses_api=True。 - 输出上限。 在 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 上,思考内容计入输出预算。在模型上把
max_tokens设为 2,000 或更高。在我们的测试中,langchain-openai 1.8 把它作为max_completion_tokens发送。 - 并行分支。 每个调用模型的分支都是一个独立请求。按量付费密钥同时最多允许 4 个进行中的请求,套餐会话一次只处理一个。
我们是怎么测试的
2026-11-15,我们在一个干净的虚拟环境中安装了 langgraph 1.2.22、langchain-openai 1.8.0 和 langchain 1.5.0,把上面的图、流式循环和 create_agent 指向一个本地 mock 服务器运行。该服务器模拟 BroadNet 的 chat completions 格式,并返回工具调用。我们检查了记录下来的请求:每次调用都发到了 /v1/chat/completions,模型 ID broadnet/glm-5.3 原样未变,带 Bearer 密钥和工具 schema,工具结果以 tool 消息返回。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。
