BroadRouter

BroadNet Inference에서 LangChain 사용하기

업데이트

langchain-openai를 설치한 뒤 base_url은 https://inference.broadnet.ai/v1, api_key는 BroadNet 키, 모델은 broadnet/glm-5.3 같은 BroadNet 모델 ID로 지정해 ChatOpenAI를 만드세요. 그러면 invoke, stream, 도구 호출 체인이 chat completions 위에서 작동합니다. Responses 전용 기능은 피하고, max_tokens에는 추론에 쓸 여유를 남겨 두세요.

LangChain의 ChatOpenAI는 base_url을 통해 어떤 엔드포인트든 받아들입니다. BroadNet Inference는 표준 chat completions 형식을 쓰므로 그대로 연결됩니다. LangChain 없이 API를 직접 호출한다면 Python SDK 가이드를 참고하세요.

설치

현재 langchain-openai 릴리스(1.x)는 Python 3.11 이상이 필요합니다.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

연결

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

코드의 주석대로, 추론에 쓰인 토큰도 max_tokens 한도에 포함됩니다.

openai_api_base는 base_url의 별칭입니다. 둘 다 없으면 LangChain은 OPENAI_API_BASE를 읽고, 그다음 내부의 openai 클라이언트가 OPENAI_BASE_URL을 읽습니다.

알아 둘 점

  • 추론 텍스트는 남지 않습니다. LangChain 문서에 따르면 ChatOpenAI는 공식 OpenAI 사양을 따르며 reasoning_content 같은 비표준 필드는 유지하지 않습니다. 최종 답변은 받을 수 있고, 체인에 필요한 것은 대개 그것입니다.
  • 추론할 여유를 남기세요. GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B는 먼저 추론합니다. max_tokens가 작으면 빈 답변이 돌아올 수 있습니다. 답변이 비어서 오는 이유를 참고하세요.
  • 스트리밍 사용량. OPENAI_BASE_URL로 엔드포인트를 설정하면 LangChain은 기본적으로 stream_usage를 끕니다. 스트리밍 중에 토큰 수를 받으려면 stream_usage=True를 넘기세요. BroadNet 문서에 따르면 사용량을 요청한 경우 마지막 청크에 담겨 옵니다.
  • chat completions만 쓰세요. BroadNet은 Responses API가 아니라 /v1/chat/completions를 제공합니다. LangChain 문서에 따르면 OpenAI 내장 도구(웹 검색, 파일 검색, 코드 인터프리터 등), 대화 상태, reasoning 파라미터를 쓰면 ChatOpenAI가 Responses API로 전환합니다. 이런 기능은 빼고, use_responses_api=True도 설정하지 마세요.
  • 토큰 한도 파라미터 이름. LangChain 문서에 따르면 max_tokens는 내부적으로 max_completion_tokens로 변환됩니다. BroadNet 문서는 max_tokens를 기준으로 설명합니다. 한도가 무시되는 것 같으면 앱이 실제로 보내는 요청을 확인하세요.

체인별 추천 모델

체인 모델
도구 호출과 구조화된 출력 broadnet/glm-5.3
긴 문서와 에이전트, 무제한 플랜 broadnet/deepseek-v4.1-flash
아랍어 텍스트나 이미지 broadnet/qwen3.8-27b

모든 모델의 가격 보기

문제 해결

  • 401. 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. api_key를 넘기지 않았다면 LangChain이 OPENAI_API_KEY를 썼을 수 있고, 거기에는 OpenAI 키가 들어 있을 수 있습니다.
  • 404 또는 “not found”. base_url이 /v1로 끝나는지, 호출을 Responses API로 보내는 설정이 없는지(위 참고) 확인하세요. 그다음 모델 ID가 broadnet/ 접두사까지 포함해 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
  • content가 비어 있음. 추론이 예산을 다 썼습니다. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 도구 호출이 일어나지 않음. broadnet/glm-5.3 또는 broadnet/qwen3.8-27b 모델을 쓰세요. BroadNet 문서는 이 두 모델에만 도구 지원을 표기합니다.
  • 배치나 병렬 체인에서 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. batch()에는 runnable config에서 max_concurrency를 설정하세요. 오류 코드와 재시도를 참고하세요.

자주 묻는 질문

ChatOpenAI에서 base_url과 openai_api_base 중 무엇을 써야 하나요?

어느 쪽이든 됩니다. openai_api_base는 base_url의 별칭입니다. 둘 다 넘기지 않으면 LangChain이 OPENAI_API_BASE를 확인하고, 그다음 openai 클라이언트가 OPENAI_BASE_URL을 읽습니다.

환경 변수만으로 BroadNet 엔드포인트를 설정할 수 있나요?

네. OPENAI_BASE_URL을 https://inference.broadnet.ai/v1로, OPENAI_API_KEY를 BroadNet 키로 설정한 다음 모델 ID만 넣어 ChatOpenAI를 만드세요. 스트리밍 중에 토큰 수를 받으려면 stream_usage=True를 넘기세요.

LangChain은 왜 BroadNet 응답에서 reasoning_content를 버리나요?

LangChain 문서에 따르면 ChatOpenAI는 공식 OpenAI 사양을 따르며 reasoning_content 같은 비표준 필드는 추출하지 않습니다. 최종 답변은 content에 그대로 들어옵니다.

BroadNet에 연결한 ChatOpenAI에서 도구 호출이 되나요?

네. BroadNet이 도구 지원 모델로 표기한 모델에서 bind_tools로 쓸 수 있습니다. 도구 호출과 with_structured_output에는 broadnet/glm-5.3 또는 broadnet/qwen3.8-27b를 쓰세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기