LangGraph là thư viện của LangChain để xây agent nhiều bước, có trạng thái, dưới dạng graph. Nó không có model client riêng: các node của bạn gọi một chat model của LangChain. Để chạy graph trên BroadNet Inference, hãy đưa cho nó ChatOpenAI từ langchain-openai với base URL của BroadNet. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu LangGraph và LangChain ở thời điểm LangGraph 1.2.22 và langchain-openai 1.8.
Cài đặt
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Một graph gọi tool
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Node model gọi BroadNet. tools_condition chuyển graph sang node tool khi câu trả lời có lệnh gọi tool, và kết quả tool quay lại model. Checkpointer lưu hội thoại theo từng thread_id, nên lần invoke thứ hai với cùng config sẽ tiếp tục hội thoại đó.
Stream token từ graph
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Với stream_mode="messages", ChatOpenAI gửi stream: true tới BroadNet và LangGraph chuyển tiếp từng token.
Agent dựng sẵn
Nếu không cần graph tùy chỉnh, vòng lặp agent dựng sẵn nhận cùng model đó:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
create_react_agent từ langgraph.prebuilt vẫn chạy trong LangGraph 1.2.22, nhưng in cảnh báo rằng nó đã chuyển sang langchain.agents.create_agent.
Chọn model nào
| Graph | Model |
|---|---|
| Agent dùng tool, đầu ra có cấu trúc | broadnet/glm-5.3 (context 1.048.576 token) |
| Tool kèm đầu vào hình ảnh hoặc văn bản tiếng Ả Rập | broadnet/qwen3.8-27b (context 262.144 token) |
| Graph không gọi tool, tài liệu dài | broadnet/deepseek-v4.1-flash |
Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. DeepSeek V4.1 Flash là model của các gói không giới hạn, nên hợp với các graph tóm tắt rồi định tuyến mà không gọi tool. Hãy thử một vòng lặp tool trên nó trước khi dựa vào. Giá của mọi model.
Những cài đặt quan trọng
- Giữ nguyên chat completions. BroadNet phục vụ
/v1/chat/completions. Tài liệu LangChain cho biếtChatOpenAIchuyển sang Responses API khi bạn dùng tool tích hợp sẵn của OpenAI, trạng thái hội thoại hoặc tham sốreasoning. Hãy bỏ những thứ đó và đừng đặtuse_responses_api=True. - Giới hạn đầu ra. Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, phần suy luận được tính vào ngân sách đầu ra. Hãy đặt
max_tokenscủa model từ 2.000 trở lên. Trong thử nghiệm của chúng tôi, langchain-openai 1.8 gửi giá trị này dưới dạngmax_completion_tokens. - Nhánh song song. Mỗi nhánh gọi model là một request riêng. Một key trả theo mức dùng cho phép 4 request đang xử lý cùng lúc, còn một phiên của gói chạy từng request một.
Chúng tôi đã kiểm thử thế nào
Ngày 2026-11-15, chúng tôi cài langgraph 1.2.22, langchain-openai 1.8.0 và langchain 1.5.0 trong một môi trường ảo sạch. Chúng tôi chạy graph ở trên, vòng lặp streaming và create_agent với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet và trả về lệnh gọi tool, rồi kiểm tra các request được ghi lại. Mọi lệnh gọi đều tới /v1/chat/completions với model ID broadnet/glm-5.3 giữ nguyên, Bearer key và schema của tool, và kết quả tool quay lại dưới dạng tin nhắn tool. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.
Xử lý sự cố
- 401. Key sai, đã hết hạn hoặc hết hạn mức.
- 404.
base_urlphải kết thúc bằng/v1. Kiểm tra model ID, kèm tiền tốbroadnet/. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - Agent không bao giờ gọi tool. Chuyển sang
broadnet/glm-5.3hoặcbroadnet/qwen3.8-27b. - Câu trả lời rỗng. Ngân sách đầu ra đã dùng hết cho suy luận. Hãy tăng
max_tokens. Vì sao câu trả lời trả về rỗng. - 429. Một key trả theo mức dùng cho phép 30 request mỗi phút. Thêm
max_retriesvàoChatOpenAIvà xem lỗi và thử lại.
