BroadRouter
시작하기

BroadNet Inference로 LangGraph 에이전트 만들기

업데이트

langgraph와 langchain-openai를 설치한 뒤 model은 broadnet/glm-5.3 같은 BroadNet ID, base_url은 https://inference.broadnet.ai/v1, api_key는 BroadNet 키로 지정해 ChatOpenAI를 만드세요. 여기에 도구를 바인딩해 StateGraph 노드에서 쓰거나 langchain의 create_agent에 넘기면 됩니다. 모델은 BroadNet이 도구 지원으로 표기한 GLM 5.3이나 Qwen3.8 27B를 쓰세요.

LangGraph는 상태를 가진 다단계 에이전트를 그래프로 만드는 LangChain의 라이브러리입니다. 자체 모델 클라이언트는 없고, 노드가 LangChain 채팅 모델을 호출합니다. 그래프를 BroadNet Inference에서 실행하려면 langchain-openai의 ChatOpenAI에 BroadNet의 base URL을 지정해 넘기면 됩니다. BroadRouter는 BroadNet이 운영하는 사이트입니다. 아래 내용은 LangGraph 1.2.22와 langchain-openai 1.8 기준 LangGraph 및 LangChain 문서를 따릅니다.

설치

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

도구를 호출하는 그래프

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

모델 노드가 BroadNet을 호출합니다. 응답에 도구 호출이 있으면 tools_condition이 그래프를 도구 노드로 보내고, 도구 결과는 다시 모델로 돌아갑니다. 체크포인터가 thread_id별로 대화를 저장하므로, 같은 config로 invoke를 한 번 더 호출하면 대화가 이어집니다.

그래프에서 토큰 스트리밍하기

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

stream_mode="messages"를 쓰면 ChatOpenAI가 BroadNet에 stream: true를 보내고, LangGraph가 토큰을 그대로 전달합니다.

미리 만들어진 에이전트

커스텀 그래프가 필요 없다면, 미리 만들어진 에이전트 루프에 같은 모델을 넘기면 됩니다.

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

langgraph.prebuilt의 create_react_agent는 LangGraph 1.2.22에서도 실행되지만, langchain.agents.create_agent로 옮겨졌다는 경고를 출력합니다.

어떤 모델을 고를까

그래프 모델
도구를 쓰는 에이전트, 구조화된 출력 broadnet/glm-5.3 (1,048,576 토큰 컨텍스트)
도구와 이미지 입력 또는 아랍어 텍스트 broadnet/qwen3.8-27b (262,144 토큰 컨텍스트)
도구 호출이 없는 그래프, 긴 문서 broadnet/deepseek-v4.1-flash

BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. DeepSeek V4.1 Flash는 무제한 플랜의 모델이라, 도구를 호출하지 않는 요약·라우팅 그래프에 어울립니다. 이 모델에 도구 루프를 맡기려면 먼저 테스트하세요. 모든 모델의 가격을 확인하세요.

중요한 설정

  • chat completions에 머무르세요. BroadNet은 /v1/chat/completions를 제공합니다. LangChain 문서에 따르면 OpenAI 내장 도구, 대화 상태, reasoning 파라미터를 쓰면 ChatOpenAI가 Responses API로 넘어갑니다. 이런 기능은 빼고 use_responses_api=True도 설정하지 마세요.
  • 출력 한도. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B에서는 추론도 출력 예산에 포함됩니다. 모델의 max_tokens를 2,000 이상으로 설정하세요. 저희 테스트에서 langchain-openai 1.8은 이 값을 max_completion_tokens로 보냈습니다.
  • 병렬 분기. 모델을 호출하는 분기마다 별도의 요청이 됩니다. 종량제 키는 동시 처리 4 건까지 허용하고, 플랜 세션은 한 번에 하나씩 실행합니다.

테스트 방법

2026-11-15에 깨끗한 가상 환경에 langgraph 1.2.22, langchain-openai 1.8.0, langchain 1.5.0을 설치했습니다. 그리고 위의 그래프, 스트리밍 루프, create_agent를 BroadNet의 chat completions 형식을 흉내 내고 도구 호출을 돌려주는 로컬 모의 서버에서 실행한 뒤, 기록된 요청을 확인했습니다. 모든 호출이 /v1/chat/completions로 갔고, 모델 ID broadnet/glm-5.3 값이 바뀌지 않았으며, Bearer 키와 도구 스키마가 포함되었습니다. 도구 결과는 tool 메시지로 돌아왔습니다. BroadNet 키가 없었기 때문에 실제 모델 출력은 테스트하지 않았습니다.

문제 해결

  • 401. 키가 잘못되었거나, 만료되었거나, 사용 가능 금액이 소진된 것입니다.
  • 404. base_url은 /v1로 끝나야 합니다. broadnet/ 접두사를 포함해 모델 ID를 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
  • 에이전트가 도구를 전혀 호출하지 않음. broadnet/glm-5.3 또는 broadnet/qwen3.8-27b 모델로 바꾸세요.
  • 빈 답변. 출력 예산을 추론에 다 썼습니다. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 429. 종량제 키는 분당 30 요청까지 허용합니다. ChatOpenAI에 max_retries를 추가하고 오류와 재시도를 참고하세요.

자주 묻는 질문

LangGraph에 BroadNet 전용 통합이 따로 필요한가요?

아니요. LangGraph는 노드가 호출하는 채팅 모델을 그대로 실행합니다. base_url을 https://inference.broadnet.ai/v1로 설정한 LangChain의 ChatOpenAI를 쓰면, 모델을 호출하는 모든 노드가 chat completions로 BroadNet에 요청합니다.

create_react_agent와 create_agent 중 무엇을 써야 하나요?

LangGraph 1.2에서 langgraph.prebuilt의 create_react_agent는 여전히 작동하지만, langchain 패키지의 create_agent를 쓰라는 지원 중단 경고를 출력합니다. 저희 모의 서버에서는 BroadNet 형식의 모델 ID로 둘 다 작동했습니다.

LangGraph 에이전트에는 어떤 BroadNet 모델을 써야 하나요?

GLM 5.3(broadnet/glm-5.3)이나 Qwen3.8 27B(broadnet/qwen3.8-27b)입니다. 에이전트 루프는 도구 호출에 의존하는데, BroadNet은 이 두 모델에만 도구 지원을 표기합니다.

설정한 max_tokens가 왜 max_completion_tokens로 전송되나요?

langchain-openai 1.8은 요청에서 max_tokens를 max_completion_tokens로 이름을 바꿉니다. BroadNet API 레퍼런스는 max_tokens를 설명합니다. 출력 한도가 무시되는 것 같다면 앱이 실제로 보내는 요청을 확인하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기