BroadRouter

Membangun agen LangGraph di BroadNet Inference

Diperbarui

Instal langgraph dan langchain-openai, lalu buat ChatOpenAI dengan model berisi ID BroadNet seperti broadnet/glm-5.3, base_url https://inference.broadnet.ai/v1, dan api_key berisi kunci BroadNet Anda. Ikat tools Anda ke model itu dan pakai di node StateGraph, atau berikan ke create_agent dari langchain. Gunakan GLM 5.3 atau Qwen3.8 27B, model yang dicantumkan BroadNet dengan tools.

LangGraph adalah library LangChain untuk agen stateful dan multi-langkah yang dibangun sebagai graph. LangGraph tidak punya klien model sendiri: node Anda memanggil chat model LangChain. Untuk menjalankan graph di BroadNet Inference, berikan ChatOpenAI dari langchain-openai dengan base URL BroadNet. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi LangGraph dan LangChain per LangGraph 1.2.22 dan langchain-openai 1.8.

Instalasi

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Graph yang memanggil tools

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Node model memanggil BroadNet. tools_condition mengarahkan graph ke node tools jika balasan berisi tool call, lalu hasil tool dikembalikan ke model. Checkpointer menyimpan percakapan per thread_id, jadi invoke kedua dengan config yang sama akan melanjutkannya.

Streaming token dari graph

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Dengan stream_mode="messages", ChatOpenAI mengirim stream: true ke BroadNet dan LangGraph meneruskan token-tokennya.

Agen prebuilt

Jika Anda tidak butuh graph kustom, loop agen prebuilt menerima model yang sama:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent dari langgraph.prebuilt masih berjalan di LangGraph 1.2.22, tetapi menampilkan peringatan bahwa fungsi itu sudah pindah ke langchain.agents.create_agent.

Model mana yang dipilih

Graph Model
Agen dengan tools, output terstruktur broadnet/glm-5.3 (konteks 1.048.576 token)
Tools plus input gambar atau teks bahasa Arab broadnet/qwen3.8-27b (konteks 262.144 token)
Graph tanpa tool call, dokumen panjang broadnet/deepseek-v4.1-flash

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. DeepSeek V4.1 Flash adalah model di paket unlimited, jadi cocok untuk graph ringkas-lalu-arahkan yang tidak memanggil tools. Uji loop tools di model ini sebelum Anda mengandalkannya. Harga semua model.

Pengaturan yang penting

  • Tetap di chat completions. BroadNet menyajikan /v1/chat/completions. Dokumentasi LangChain menyebut ChatOpenAI beralih ke Responses API saat Anda memakai built-in tools OpenAI, conversation state, atau parameter reasoning. Jangan pakai fitur-fitur itu dan jangan atur use_responses_api=True.
  • Batas output. Di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, penalaran ikut dihitung dalam anggaran output. Atur max_tokens di model ke 2.000 atau lebih. Dalam pengujian kami, langchain-openai 1.8 mengirimnya sebagai max_completion_tokens.
  • Cabang paralel. Setiap cabang yang memanggil model adalah permintaan terpisah. Kunci bayar sesuai pemakaian mengizinkan 4 permintaan berjalan bersamaan, sedangkan sesi paket menjalankan satu per satu.

Cara kami mengujinya

Pada 2026-11-15 kami menginstal langgraph 1.2.22, langchain-openai 1.8.0, dan langchain 1.5.0 di virtual environment yang bersih. Kami menjalankan graph di atas, loop streaming, dan create_agent terhadap mock server lokal yang meniru format chat completions BroadNet dan mengembalikan tool call. Kami memeriksa log permintaannya. Setiap panggilan masuk ke /v1/chat/completions dengan ID model broadnet/glm-5.3 tanpa perubahan, kunci Bearer, dan skema tool, dan hasil tool kembali sebagai pesan tool. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.

Pemecahan masalah

  • 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis.
  • 404. base_url harus diakhiri /v1. Periksa ID model, lengkap dengan prefiks broadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Agen tidak pernah memanggil tool. Ganti ke broadnet/glm-5.3 atau broadnet/qwen3.8-27b.
  • Jawaban kosong. Anggaran output habis untuk penalaran. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit. Tambahkan max_retries ke ChatOpenAI dan lihat panduan error dan percobaan ulang.

Pertanyaan umum

Apakah LangGraph butuh integrasi BroadNet tersendiri?

Tidak. LangGraph menjalankan chat model apa pun yang dipanggil node Anda. Pakai ChatOpenAI dari LangChain dengan base_url https://inference.broadnet.ai/v1, maka setiap node yang memanggil model akan diarahkan ke BroadNet lewat chat completions.

Sebaiknya pakai create_react_agent atau create_agent?

Di LangGraph 1.2, create_react_agent dari langgraph.prebuilt masih jalan, tetapi menampilkan peringatan deprecation yang mengarahkan ke create_agent di paket langchain. Keduanya berhasil di mock server kami dengan ID model bergaya BroadNet.

Model BroadNet mana yang cocok untuk agen LangGraph?

GLM 5.3 (broadnet/glm-5.3) atau Qwen3.8 27B (broadnet/qwen3.8-27b). Loop agen bergantung pada tool call, dan BroadNet hanya mencantumkan tools untuk kedua model ini.

Kenapa max_tokens yang saya atur dikirim sebagai max_completion_tokens?

langchain-openai 1.8 mengganti nama max_tokens menjadi max_completion_tokens di dalam permintaan. Referensi API BroadNet menjelaskan max_tokens. Jika batas output seperti diabaikan, periksa permintaan yang benar-benar dikirim aplikasi Anda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity