LangGraph adalah library LangChain untuk agen stateful dan multi-langkah yang dibangun sebagai graph. LangGraph tidak punya klien model sendiri: node Anda memanggil chat model LangChain. Untuk menjalankan graph di BroadNet Inference, berikan ChatOpenAI dari langchain-openai dengan base URL BroadNet. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi LangGraph dan LangChain per LangGraph 1.2.22 dan langchain-openai 1.8.
Instalasi
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Graph yang memanggil tools
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Node model memanggil BroadNet. tools_condition mengarahkan graph ke node tools jika balasan berisi tool call, lalu hasil tool dikembalikan ke model. Checkpointer menyimpan percakapan per thread_id, jadi invoke kedua dengan config yang sama akan melanjutkannya.
Streaming token dari graph
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Dengan stream_mode="messages", ChatOpenAI mengirim stream: true ke BroadNet dan LangGraph meneruskan token-tokennya.
Agen prebuilt
Jika Anda tidak butuh graph kustom, loop agen prebuilt menerima model yang sama:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
create_react_agent dari langgraph.prebuilt masih berjalan di LangGraph 1.2.22, tetapi menampilkan peringatan bahwa fungsi itu sudah pindah ke langchain.agents.create_agent.
Model mana yang dipilih
| Graph | Model |
|---|---|
| Agen dengan tools, output terstruktur | broadnet/glm-5.3 (konteks 1.048.576 token) |
| Tools plus input gambar atau teks bahasa Arab | broadnet/qwen3.8-27b (konteks 262.144 token) |
| Graph tanpa tool call, dokumen panjang | broadnet/deepseek-v4.1-flash |
Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. DeepSeek V4.1 Flash adalah model di paket unlimited, jadi cocok untuk graph ringkas-lalu-arahkan yang tidak memanggil tools. Uji loop tools di model ini sebelum Anda mengandalkannya. Harga semua model.
Pengaturan yang penting
- Tetap di chat completions. BroadNet menyajikan
/v1/chat/completions. Dokumentasi LangChain menyebutChatOpenAIberalih ke Responses API saat Anda memakai built-in tools OpenAI, conversation state, atau parameterreasoning. Jangan pakai fitur-fitur itu dan jangan aturuse_responses_api=True. - Batas output. Di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, penalaran ikut dihitung dalam anggaran output. Atur
max_tokensdi model ke 2.000 atau lebih. Dalam pengujian kami, langchain-openai 1.8 mengirimnya sebagaimax_completion_tokens. - Cabang paralel. Setiap cabang yang memanggil model adalah permintaan terpisah. Kunci bayar sesuai pemakaian mengizinkan 4 permintaan berjalan bersamaan, sedangkan sesi paket menjalankan satu per satu.
Cara kami mengujinya
Pada 2026-11-15 kami menginstal langgraph 1.2.22, langchain-openai 1.8.0, dan langchain 1.5.0 di virtual environment yang bersih. Kami menjalankan graph di atas, loop streaming, dan create_agent terhadap mock server lokal yang meniru format chat completions BroadNet dan mengembalikan tool call. Kami memeriksa log permintaannya. Setiap panggilan masuk ke /v1/chat/completions dengan ID model broadnet/glm-5.3 tanpa perubahan, kunci Bearer, dan skema tool, dan hasil tool kembali sebagai pesan tool. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.
Pemecahan masalah
- 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis.
- 404.
base_urlharus diakhiri/v1. Periksa ID model, lengkap dengan prefiksbroadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4b. - Agen tidak pernah memanggil tool. Ganti ke
broadnet/glm-5.3ataubroadnet/qwen3.8-27b. - Jawaban kosong. Anggaran output habis untuk penalaran. Naikkan
max_tokens. Kenapa jawaban kembali kosong. - 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit. Tambahkan
max_retrieskeChatOpenAIdan lihat panduan error dan percobaan ulang.
