BroadRouter

Xây agent LangGraph trên BroadNet Inference

Cập nhật

Cài langgraph và langchain-openai, rồi tạo ChatOpenAI với model là một ID BroadNet như broadnet/glm-5.3, base_url là https://inference.broadnet.ai/v1 và api_key là key BroadNet của bạn. Bind các tool vào model rồi dùng nó trong một node StateGraph, hoặc truyền nó cho create_agent của langchain. Hãy dùng GLM 5.3 hoặc Qwen3.8 27B, hai model BroadNet ghi hỗ trợ tool.

LangGraph là thư viện của LangChain để xây agent nhiều bước, có trạng thái, dưới dạng graph. Nó không có model client riêng: các node của bạn gọi một chat model của LangChain. Để chạy graph trên BroadNet Inference, hãy đưa cho nó ChatOpenAI từ langchain-openai với base URL của BroadNet. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu LangGraph và LangChain ở thời điểm LangGraph 1.2.22 và langchain-openai 1.8.

Cài đặt

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Một graph gọi tool

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Node model gọi BroadNet. tools_condition chuyển graph sang node tool khi câu trả lời có lệnh gọi tool, và kết quả tool quay lại model. Checkpointer lưu hội thoại theo từng thread_id, nên lần invoke thứ hai với cùng config sẽ tiếp tục hội thoại đó.

Stream token từ graph

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Với stream_mode="messages", ChatOpenAI gửi stream: true tới BroadNet và LangGraph chuyển tiếp từng token.

Agent dựng sẵn

Nếu không cần graph tùy chỉnh, vòng lặp agent dựng sẵn nhận cùng model đó:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent từ langgraph.prebuilt vẫn chạy trong LangGraph 1.2.22, nhưng in cảnh báo rằng nó đã chuyển sang langchain.agents.create_agent.

Chọn model nào

Graph Model
Agent dùng tool, đầu ra có cấu trúc broadnet/glm-5.3 (context 1.048.576 token)
Tool kèm đầu vào hình ảnh hoặc văn bản tiếng Ả Rập broadnet/qwen3.8-27b (context 262.144 token)
Graph không gọi tool, tài liệu dài broadnet/deepseek-v4.1-flash

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. DeepSeek V4.1 Flash là model của các gói không giới hạn, nên hợp với các graph tóm tắt rồi định tuyến mà không gọi tool. Hãy thử một vòng lặp tool trên nó trước khi dựa vào. Giá của mọi model.

Những cài đặt quan trọng

  • Giữ nguyên chat completions. BroadNet phục vụ /v1/chat/completions. Tài liệu LangChain cho biết ChatOpenAI chuyển sang Responses API khi bạn dùng tool tích hợp sẵn của OpenAI, trạng thái hội thoại hoặc tham số reasoning. Hãy bỏ những thứ đó và đừng đặt use_responses_api=True.
  • Giới hạn đầu ra. Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, phần suy luận được tính vào ngân sách đầu ra. Hãy đặt max_tokens của model từ 2.000 trở lên. Trong thử nghiệm của chúng tôi, langchain-openai 1.8 gửi giá trị này dưới dạng max_completion_tokens.
  • Nhánh song song. Mỗi nhánh gọi model là một request riêng. Một key trả theo mức dùng cho phép 4 request đang xử lý cùng lúc, còn một phiên của gói chạy từng request một.

Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài langgraph 1.2.22, langchain-openai 1.8.0 và langchain 1.5.0 trong một môi trường ảo sạch. Chúng tôi chạy graph ở trên, vòng lặp streaming và create_agent với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet và trả về lệnh gọi tool, rồi kiểm tra các request được ghi lại. Mọi lệnh gọi đều tới /v1/chat/completions với model ID broadnet/glm-5.3 giữ nguyên, Bearer key và schema của tool, và kết quả tool quay lại dưới dạng tin nhắn tool. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc hết hạn mức.
  • 404. base_url phải kết thúc bằng /v1. Kiểm tra model ID, kèm tiền tố broadnet/. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Agent không bao giờ gọi tool. Chuyển sang broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b.
  • Câu trả lời rỗng. Ngân sách đầu ra đã dùng hết cho suy luận. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • 429. Một key trả theo mức dùng cho phép 30 request mỗi phút. Thêm max_retries vào ChatOpenAI và xem lỗi và thử lại.

Câu hỏi thường gặp

LangGraph có cần tích hợp BroadNet riêng không?

Không. LangGraph chạy bất kỳ chat model nào mà các node của bạn gọi. Hãy dùng ChatOpenAI của LangChain với base_url là https://inference.broadnet.ai/v1, và mọi node gọi model sẽ tới BroadNet qua chat completions.

Nên dùng create_react_agent hay create_agent?

Trong LangGraph 1.2, create_react_agent từ langgraph.prebuilt vẫn chạy nhưng in cảnh báo deprecation, chỉ sang create_agent trong gói langchain. Cả hai đều chạy được với mock server của chúng tôi khi dùng model ID kiểu BroadNet.

Agent LangGraph nên dùng model BroadNet nào?

GLM 5.3 (broadnet/glm-5.3) hoặc Qwen3.8 27B (broadnet/qwen3.8-27b). Vòng lặp agent phụ thuộc vào việc gọi tool, và BroadNet chỉ ghi hỗ trợ tool cho hai model này.

Vì sao max_tokens tôi đặt lại được gửi dưới dạng max_completion_tokens?

langchain-openai 1.8 đổi tên max_tokens thành max_completion_tokens trong request. Tài liệu tham chiếu API của BroadNet mô tả max_tokens. Nếu giới hạn đầu ra có vẻ bị bỏ qua, hãy kiểm tra request mà ứng dụng thực sự gửi đi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity