BroadRouter
Mulakan

Bina ejen LangGraph pada BroadNet Inference

Dikemas kini

Pasang langgraph dan langchain-openai, kemudian cipta ChatOpenAI dengan model ditetapkan kepada ID BroadNet seperti broadnet/glm-5.3, base_url kepada https://inference.broadnet.ai/v1 dan api_key kepada kunci BroadNet anda. Ikat alatan anda padanya dan gunakannya dalam nod StateGraph, atau hantar kepada create_agent langchain. Gunakan GLM 5.3 atau Qwen3.8 27B, model yang disenaraikan BroadNet dengan tools.

LangGraph ialah pustaka LangChain untuk ejen berbilang langkah yang menyimpan keadaan (stateful), dibina sebagai graf. Ia tiada klien model sendiri: nod anda memanggil model chat LangChain. Untuk menjalankan graf pada BroadNet Inference, berikan ia ChatOpenAI daripada langchain-openai dengan base URL BroadNet. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi LangGraph dan LangChain setakat LangGraph 1.2.22 dan langchain-openai 1.8.

Pasang

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Graf yang memanggil alatan

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Nod model memanggil BroadNet. tools_condition menghantar graf ke nod alatan apabila balasan mengandungi panggilan alatan, dan hasil alatan kembali kepada model. Checkpointer menyimpan perbualan mengikut thread_id, jadi invoke kedua dengan config yang sama akan menyambungnya.

Strim token daripada graf

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Dengan stream_mode="messages", ChatOpenAI menghantar stream: true kepada BroadNet dan LangGraph menyalurkan token tersebut.

Ejen prebuilt

Jika anda tidak memerlukan graf tersuai, gelung ejen prebuilt menerima model yang sama:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent daripada langgraph.prebuilt masih berjalan dalam LangGraph 1.2.22, tetapi mencetak amaran bahawa ia telah dipindahkan ke langchain.agents.create_agent.

Model mana yang patut dipilih

Graf Model
Ejen dengan alatan, output berstruktur broadnet/glm-5.3 (konteks 1,048,576 token)
Alatan serta input imej atau teks bahasa Arab broadnet/qwen3.8-27b (konteks 262,144 token)
Graf tanpa panggilan alatan, dokumen panjang broadnet/deepseek-v4.1-flash

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. DeepSeek V4.1 Flash ialah model pada pelan tanpa had, jadi ia sesuai untuk graf ringkas-dan-hala (summarise-and-route) yang tidak memanggil alatan. Uji gelung alatan padanya sebelum anda bergantung padanya. Harga setiap model.

Tetapan yang penting

  • Kekal dengan chat completions. BroadNet menyediakan /v1/chat/completions. Dokumentasi LangChain menyatakan ChatOpenAI beralih ke Responses API apabila anda menggunakan alatan terbina dalam OpenAI, keadaan perbualan atau parameter reasoning. Jangan gunakan semua itu dan jangan tetapkan use_responses_api=True.
  • Had output. Penaakulan dikira dalam bajet output pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B. Tetapkan max_tokens kepada 2,000 atau lebih pada model. Dalam ujian kami, langchain-openai 1.8 menghantarnya sebagai max_completion_tokens.
  • Cabang selari. Setiap cabang yang memanggil model ialah permintaan berasingan. Kunci bayar ikut guna membenarkan 4 permintaan serentak, dan sesi pelan menjalankan satu permintaan pada satu masa.

Cara kami mengujinya

Pada 2026-11-15 kami memasang langgraph 1.2.22, langchain-openai 1.8.0 dan langchain 1.5.0 dalam persekitaran maya yang bersih. Kami menjalankan graf di atas, gelung penstriman dan create_agent terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet dan memulangkan panggilan alatan. Kami menyemak permintaan yang dilog. Setiap panggilan pergi ke /v1/chat/completions dengan ID model broadnet/glm-5.3 tidak berubah, kunci Bearer dan skema alatan, dan hasil alatan kembali sebagai mesej tool. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

Penyelesaian masalah

  • 401. Kunci salah, telah tamat tempoh atau kehabisan elaun.
  • 404. base_url mesti berakhir dengan /v1. Semak ID model, dengan awalan broadnet/. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Ejen tidak pernah memanggil alatan. Tukar kepada broadnet/glm-5.3 atau broadnet/qwen3.8-27b.
  • Jawapan kosong. Bajet output habis digunakan untuk penaakulan. Naikkan max_tokens. Mengapa jawapan kosong.
  • 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit. Tambah max_retries pada ChatOpenAI dan lihat ralat dan cuba semula.

Soalan lazim

Adakah LangGraph memerlukan integrasi BroadNet tersendiri?

Tidak. LangGraph menjalankan apa-apa model chat yang dipanggil oleh nod anda. Gunakan ChatOpenAI LangChain dengan base_url ditetapkan kepada https://inference.broadnet.ai/v1, dan setiap nod yang memanggil model akan pergi ke BroadNet melalui chat completions.

Patutkah saya menggunakan create_react_agent atau create_agent?

Dalam LangGraph 1.2, create_react_agent daripada langgraph.prebuilt masih berfungsi tetapi mencetak amaran penamatan (deprecation) yang merujuk kepada create_agent dalam pakej langchain. Kedua-duanya berfungsi terhadap pelayan olok-olok kami dengan ID model gaya BroadNet.

Model BroadNet manakah yang patut digunakan oleh ejen LangGraph?

GLM 5.3 (broadnet/glm-5.3) atau Qwen3.8 27B (broadnet/qwen3.8-27b). Gelung ejen bergantung pada panggilan alatan, dan BroadNet menyenaraikan tools untuk dua model ini sahaja.

Mengapakah max_tokens yang saya tetapkan dihantar sebagai max_completion_tokens?

langchain-openai 1.8 menamakan semula max_tokens kepada max_completion_tokens dalam permintaan. Rujukan API BroadNet menerangkan max_tokens. Jika had output kelihatan diabaikan, semak permintaan yang benar-benar dihantar oleh aplikasi anda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity