LangGraph ialah pustaka LangChain untuk ejen berbilang langkah yang menyimpan keadaan (stateful), dibina sebagai graf. Ia tiada klien model sendiri: nod anda memanggil model chat LangChain. Untuk menjalankan graf pada BroadNet Inference, berikan ia ChatOpenAI daripada langchain-openai dengan base URL BroadNet. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi LangGraph dan LangChain setakat LangGraph 1.2.22 dan langchain-openai 1.8.
Pasang
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Graf yang memanggil alatan
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Nod model memanggil BroadNet. tools_condition menghantar graf ke nod alatan apabila balasan mengandungi panggilan alatan, dan hasil alatan kembali kepada model. Checkpointer menyimpan perbualan mengikut thread_id, jadi invoke kedua dengan config yang sama akan menyambungnya.
Strim token daripada graf
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Dengan stream_mode="messages", ChatOpenAI menghantar stream: true kepada BroadNet dan LangGraph menyalurkan token tersebut.
Ejen prebuilt
Jika anda tidak memerlukan graf tersuai, gelung ejen prebuilt menerima model yang sama:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
create_react_agent daripada langgraph.prebuilt masih berjalan dalam LangGraph 1.2.22, tetapi mencetak amaran bahawa ia telah dipindahkan ke langchain.agents.create_agent.
Model mana yang patut dipilih
| Graf | Model |
|---|---|
| Ejen dengan alatan, output berstruktur | broadnet/glm-5.3 (konteks 1,048,576 token) |
| Alatan serta input imej atau teks bahasa Arab | broadnet/qwen3.8-27b (konteks 262,144 token) |
| Graf tanpa panggilan alatan, dokumen panjang | broadnet/deepseek-v4.1-flash |
Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. DeepSeek V4.1 Flash ialah model pada pelan tanpa had, jadi ia sesuai untuk graf ringkas-dan-hala (summarise-and-route) yang tidak memanggil alatan. Uji gelung alatan padanya sebelum anda bergantung padanya. Harga setiap model.
Tetapan yang penting
- Kekal dengan chat completions. BroadNet menyediakan
/v1/chat/completions. Dokumentasi LangChain menyatakanChatOpenAIberalih ke Responses API apabila anda menggunakan alatan terbina dalam OpenAI, keadaan perbualan atau parameterreasoning. Jangan gunakan semua itu dan jangan tetapkanuse_responses_api=True. - Had output. Penaakulan dikira dalam bajet output pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B. Tetapkan
max_tokenskepada 2,000 atau lebih pada model. Dalam ujian kami, langchain-openai 1.8 menghantarnya sebagaimax_completion_tokens. - Cabang selari. Setiap cabang yang memanggil model ialah permintaan berasingan. Kunci bayar ikut guna membenarkan 4 permintaan serentak, dan sesi pelan menjalankan satu permintaan pada satu masa.
Cara kami mengujinya
Pada 2026-11-15 kami memasang langgraph 1.2.22, langchain-openai 1.8.0 dan langchain 1.5.0 dalam persekitaran maya yang bersih. Kami menjalankan graf di atas, gelung penstriman dan create_agent terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet dan memulangkan panggilan alatan. Kami menyemak permintaan yang dilog. Setiap panggilan pergi ke /v1/chat/completions dengan ID model broadnet/glm-5.3 tidak berubah, kunci Bearer dan skema alatan, dan hasil alatan kembali sebagai mesej tool. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.
Penyelesaian masalah
- 401. Kunci salah, telah tamat tempoh atau kehabisan elaun.
- 404.
base_urlmesti berakhir dengan/v1. Semak ID model, dengan awalanbroadnet/. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - Ejen tidak pernah memanggil alatan. Tukar kepada
broadnet/glm-5.3ataubroadnet/qwen3.8-27b. - Jawapan kosong. Bajet output habis digunakan untuk penaakulan. Naikkan
max_tokens. Mengapa jawapan kosong. - 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit. Tambah
max_retriespadaChatOpenAIdan lihat ralat dan cuba semula.
