LangChain의 ChatOpenAI는 base_url을 통해 어떤 엔드포인트든 받아들입니다. BroadNet Inference는 표준 chat completions 형식을 쓰므로 그대로 연결됩니다. LangChain 없이 API를 직접 호출한다면 Python SDK 가이드를 참고하세요.
설치
현재 langchain-openai 릴리스(1.x)는 Python 3.11 이상이 필요합니다.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
연결
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
코드의 주석대로, 추론에 쓰인 토큰도 max_tokens 한도에 포함됩니다.
openai_api_base는 base_url의 별칭입니다. 둘 다 없으면 LangChain은 OPENAI_API_BASE를 읽고, 그다음 내부의 openai 클라이언트가 OPENAI_BASE_URL을 읽습니다.
알아 둘 점
- 추론 텍스트는 남지 않습니다. LangChain 문서에 따르면
ChatOpenAI는 공식 OpenAI 사양을 따르며reasoning_content같은 비표준 필드는 유지하지 않습니다. 최종 답변은 받을 수 있고, 체인에 필요한 것은 대개 그것입니다. - 추론할 여유를 남기세요. GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B는 먼저 추론합니다.
max_tokens가 작으면 빈 답변이 돌아올 수 있습니다. 답변이 비어서 오는 이유를 참고하세요. - 스트리밍 사용량.
OPENAI_BASE_URL로 엔드포인트를 설정하면 LangChain은 기본적으로stream_usage를 끕니다. 스트리밍 중에 토큰 수를 받으려면stream_usage=True를 넘기세요. BroadNet 문서에 따르면 사용량을 요청한 경우 마지막 청크에 담겨 옵니다. - chat completions만 쓰세요. BroadNet은 Responses API가 아니라
/v1/chat/completions를 제공합니다. LangChain 문서에 따르면 OpenAI 내장 도구(웹 검색, 파일 검색, 코드 인터프리터 등), 대화 상태,reasoning파라미터를 쓰면ChatOpenAI가 Responses API로 전환합니다. 이런 기능은 빼고,use_responses_api=True도 설정하지 마세요. - 토큰 한도 파라미터 이름. LangChain 문서에 따르면
max_tokens는 내부적으로max_completion_tokens로 변환됩니다. BroadNet 문서는max_tokens를 기준으로 설명합니다. 한도가 무시되는 것 같으면 앱이 실제로 보내는 요청을 확인하세요.
체인별 추천 모델
| 체인 | 모델 |
|---|---|
| 도구 호출과 구조화된 출력 | broadnet/glm-5.3 |
| 긴 문서와 에이전트, 무제한 플랜 | broadnet/deepseek-v4.1-flash |
| 아랍어 텍스트나 이미지 | broadnet/qwen3.8-27b |
문제 해결
- 401. 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다.
api_key를 넘기지 않았다면 LangChain이OPENAI_API_KEY를 썼을 수 있고, 거기에는 OpenAI 키가 들어 있을 수 있습니다. - 404 또는 “not found”.
base_url이/v1로 끝나는지, 호출을 Responses API로 보내는 설정이 없는지(위 참고) 확인하세요. 그다음 모델 ID가broadnet/접두사까지 포함해 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개만 쓸 수 있습니다. content가 비어 있음. 추론이 예산을 다 썼습니다.max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.- 도구 호출이 일어나지 않음.
broadnet/glm-5.3또는broadnet/qwen3.8-27b모델을 쓰세요. BroadNet 문서는 이 두 모델에만 도구 지원을 표기합니다. - 배치나 병렬 체인에서 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다.
batch()에는 runnable config에서max_concurrency를 설정하세요. 오류 코드와 재시도를 참고하세요.
