BroadRouter

Paano gumawa ng LangGraph agent sa BroadNet Inference

Na-update

I-install ang langgraph at langchain-openai, saka gumawa ng ChatOpenAI na may model na BroadNet ID gaya ng broadnet/glm-5.3, base_url na https://inference.broadnet.ai/v1 at api_key na BroadNet key mo. I-bind dito ang tools mo at gamitin ito sa isang StateGraph node, o ipasa sa create_agent ng langchain. Gamitin ang GLM 5.3 o Qwen3.8 27B, ang mga model na may tools sa listahan ng BroadNet.

Library ng LangChain ang LangGraph para sa mga stateful at multi-step na agent na binubuo bilang graph. Wala itong sariling model client: tumatawag ang mga node mo sa isang LangChain chat model. Para patakbuhin ang isang graph sa BroadNet Inference, bigyan ito ng ChatOpenAI mula sa langchain-openai na may base URL ng BroadNet. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang LangGraph at LangChain docs sa LangGraph 1.2.22 at langchain-openai 1.8.

I-install

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Isang graph na tumatawag ng tools

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Tumatawag sa BroadNet ang model node. Kapag may tool calls ang sagot, ipinapadala ng tools_condition ang graph sa tool node, at bumabalik sa model ang resulta ng tool. Iniingatan ng checkpointer ang usapan kada thread_id, kaya ang pangalawang invoke na may parehong config ay magpapatuloy dito.

I-stream ang mga token mula sa graph

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Sa stream_mode="messages", nagpapadala ang ChatOpenAI ng stream: true sa BroadNet at ipinapasa ng LangGraph ang mga token.

Ang prebuilt agent

Kung hindi mo kailangan ng custom na graph, tumatanggap din ng parehong model ang prebuilt agent loop:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

Tumatakbo pa rin ang create_react_agent mula sa langgraph.prebuilt sa LangGraph 1.2.22, pero nagpi-print ito ng warning na lumipat na ito sa langchain.agents.create_agent.

Aling model ang pipiliin

Graph Model
Mga agent na may tools, structured output broadnet/glm-5.3 (1,048,576-token na context)
Tools kasama ang image input o Arabic na teksto broadnet/qwen3.8-27b (262,144-token na context)
Mga graph na walang tool calls, mahahabang dokumento broadnet/deepseek-v4.1-flash

Sa GLM 5.3 at Qwen3.8 27B lang nakalista ang tools at structured output sa docs ng BroadNet. Ang DeepSeek V4.1 Flash ang model sa unlimited plans, kaya bagay ito sa mga summarise-and-route na graph na hindi tumatawag ng tools. Subukan muna ang tool loop dito bago ka umasa rito. Mga presyo ng bawat model.

Mga setting na mahalaga

  • Manatili sa chat completions. /v1/chat/completions ang sine-serve ng BroadNet. Ayon sa docs ng LangChain, lumilipat ang ChatOpenAI sa Responses API kapag gumamit ka ng built-in tools ng OpenAI, conversation state o ng reasoning parameter. Huwag gamitin ang mga iyon at huwag i-set ang use_responses_api=True.
  • Output limit. Sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, kasama ang reasoning sa output budget. I-set ang max_tokens sa 2,000 o higit pa sa model. Sa test namin, ipinadala ito ng langchain-openai 1.8 bilang max_completion_tokens.
  • Mga parallel branch. Hiwalay na request ang bawat branch na tumatawag sa model. Ang isang pay-as-you-go key ay may 4 na request nang sabay-sabay, at isa-isa lang tumatakbo ang request sa isang plan session.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng langgraph 1.2.22, langchain-openai 1.8.0 at langchain 1.5.0 sa isang malinis na virtual environment. Pinatakbo namin ang graph sa itaas, ang streaming loop at ang create_agent laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet at nagbabalik ng tool calls. Sinuri namin ang mga naka-log na request. Pumunta ang bawat tawag sa /v1/chat/completions nang hindi nagbago ang model ID na broadnet/glm-5.3, may Bearer key at ang tool schema, at bumalik ang resulta ng tool bilang tool message. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

Troubleshooting

  • 401. Mali ang key, expired na, o ubos na ang allowance nito.
  • 404. Dapat nagtatapos sa /v1 ang base_url. Suriin ang model ID, kasama ang broadnet/ prefix. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Hindi kailanman tumatawag ng tool ang agent. Lumipat sa broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • Walang lamang sagot. Naubos sa reasoning ang output budget. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto. Magdagdag ng max_retries sa ChatOpenAI at tingnan ang errors and retries.

Mga tanong

Kailangan ba ng LangGraph ng sariling BroadNet integration?

Hindi. Pinapatakbo ng LangGraph ang kahit anong chat model na tinatawag ng mga node mo. Gamitin ang ChatOpenAI ng LangChain na may base_url na https://inference.broadnet.ai/v1, at bawat node na tumatawag sa model ay pupunta sa BroadNet sa pamamagitan ng chat completions.

create_react_agent ba o create_agent ang dapat kong gamitin?

Sa LangGraph 1.2, gumagana pa rin ang create_react_agent mula sa langgraph.prebuilt, pero nagpi-print ito ng deprecation warning na tumuturo sa create_agent sa langchain package. Parehong gumana ang dalawa sa mock server namin gamit ang model ID na estilong BroadNet.

Aling BroadNet model ang dapat gamitin ng isang LangGraph agent?

GLM 5.3 (broadnet/glm-5.3) o Qwen3.8 27B (broadnet/qwen3.8-27b). Umaasa sa tool calls ang agent loop, at sa dalawang model lang na ito nakalista ang tools sa BroadNet.

Bakit ipinapadala bilang max_completion_tokens ang max_tokens na sine-set ko?

Pinapalitan ng langchain-openai 1.8 ang max_tokens ng max_completion_tokens sa request. max_tokens ang inilalarawan ng API reference ng BroadNet. Kung parang hindi sinusunod ang output limit, tingnan ang request na talagang ipinapadala ng app mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity