BroadRouter

DSPy에서 BroadNet Inference 쓰기(model_type="chat" 설정)

업데이트

dspy.LM을 모델 "openai/broadnet/glm-5.3", model_type="chat", api_base는 https://inference.broadnet.ai/v1, api_key는 BroadNet 키로 만들고 dspy.configure에 넘기세요. 핵심은 model_type="chat"입니다. DSPy 3.5는 OpenAI 접두사 모델을 기본으로 Responses API에 보내는데, BroadNet은 이 API를 제공하지 않습니다. 저희 모의 서버 테스트에서 이 설정을 빼면 /v1/responses로 호출되어 404를 받았고, BroadNet의 실제 엔드포인트도 이 경로에 404로 응답합니다.

DSPy는 시그니처와 모듈로 언어 모델을 프로그래밍하고, 그 뒤의 프롬프트를 최적화하는 Python 프레임워크입니다. 모델은 dspy.LM으로 연결합니다. DSPy 문서는 OpenAI 호환 서버를 api_base를 지정한 openai/ 모델로 연결하는 방법을 보여 줍니다. https://inference.broadnet.ai/v1 주소에서 chat completions를 제공하는 BroadNet Inference에는 model_type="chat"도 필요합니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 DSPy 3.5 문서를 따릅니다.

설치

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

연결

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/: DSPy에 OpenAI 클라이언트를 쓰라고 알려 줍니다. 문자열의 나머지인 broadnet/glm-5.3 부분이 BroadNet으로 보내는 모델 ID입니다.
  • model_type="chat": DSPy가 /v1/chat/completions를 계속 쓰게 합니다. DSPy LM 레퍼런스에 따르면 기본값 'auto'는 OpenAI 모델이 “use Responses”(번역: Responses를 사용)하게 합니다.
  • max_tokens: 추론할 여유를 남겨 둡니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 생각하며, 그 생각도 한도에 포함됩니다.

model_type을 빼면 생기는 일

DSPy 설치 페이지의 OpenAI 호환 서버 예제에는 model_type이 없습니다. DSPy 3.5.0으로 테스트해 보니, 그 상태에서는 요청이 max_output_tokens와 함께 /v1/responses로 전송되었고 호출이 실패했습니다.

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

이 오류는 저희 모의(mock) 서버에서 나온 것입니다. 2026-11-16에 확인했을 때 BroadNet의 실제 엔드포인트도 /v1/responses에 404로 응답했습니다. model_type="chat"을 추가하자 해결되었습니다.

모듈과 모델

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy 용도 모델
Predict, ChainOfThought, 옵티마이저 실행 broadnet/deepseek-v4.1-flash (낮은 토큰당 가격, 정액 플랜)
ReAct 등 도구를 호출하는 모듈 broadnet/glm-5.3 또는 broadnet/qwen3.8-27b
초기 크레딧으로 DSPy 시험해 보기 broadnet/gemma-4-26b-a4b (32,768토큰 컨텍스트)

BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. 프로그램용 모델과 옵티마이저용 모델을 따로 두고, 각각 dspy.LM을 만들어 쓸 수도 있습니다. 모든 모델의 가격을 확인하세요.

테스트 방법

2026-11-15에 깨끗한 가상 환경에 dspy 3.5.0을 설치하고, BroadNet의 chat completions 형식으로 응답하며 /v1/responses에는 404를 반환하는 로컬 모의 서버를 대상으로 dspy.Predict를 실행했습니다. model_type이 없으면 DSPy는 /v1/responses를 호출해 실패했습니다. model_type="chat"을 넣으면 모델 ID broadnet/glm-5.3 값과 Bearer 키로 /v1/chat/completions를 호출했고, answer 필드를 파싱했습니다. DSPy가 출력 한도를 max_completion_tokens로 보낸다는 점도 확인했습니다. BroadNet API 레퍼런스는 max_tokens를 설명할 뿐 max_completion_tokens는 언급하지 않으므로, 이렇게 보낸 한도를 BroadNet이 적용하는지는 확인할 수 없습니다. BroadNet 키가 아니라 모의 서버로 테스트했기 때문에 실제 모델 출력은 확인하지 않았습니다.

문제 해결

  • /v1/responses에서 404. model_type="chat"을 추가하세요.
  • /v1/chat/completions에서 404. api_base는 /v1로 끝나야 하고, 모델 문자열은 openai/에 BroadNet ID 전체를 붙인 형태여야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
  • “Expected to find output fields”. 답이 비었거나 중간에 끊겼다는 뜻으로, 추론이 출력 예산을 다 쓴 경우가 많습니다. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 최적화 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 옵티마이저의 스레드 수를 줄이고 오류와 재시도를 참고하세요.

자주 묻는 질문

DSPy가 BroadNet에서 /v1/responses를 호출하는 이유는 무엇인가요?

DSPy 3.5의 dspy.LM 레퍼런스에 따르면 기본값인 model_type 'auto'는 OpenAI 모델이 Responses API를 쓰게 합니다. 커스텀 api_base를 지정한 openai/ 모델도 똑같이 취급됩니다. BroadNet이 제공하는 chat completions를 쓰려면 model_type="chat"을 넘기세요.

DSPy에서 BroadNet 모델 ID는 어떻게 쓰나요?

BroadNet ID 앞에 openai/를 붙여 openai/broadnet/glm-5.3처럼 쓰세요. DSPy는 openai/로 클라이언트를 고르며, 저희 테스트에서는 broadnet/glm-5.3을 모델로 보냈습니다.

DSPy 옵티마이저에는 어떤 BroadNet 모델이 맞나요?

옵티마이저는 호출을 많이 하므로 비용과 속도 제한이 중요합니다. DeepSeek V4.1 Flash는 토큰당 가격이 낮고, 토큰 단위로 계량되지 않는 BroadNet 정액 플랜의 모델입니다. ReAct처럼 도구를 호출하는 모듈에는 GLM 5.3이나 Qwen3.8 27B를 쓰세요.

BroadNet과 함께 쓸 때 DSPy 캐시가 영향을 주나요?

DSPy는 기본으로 LM 호출을 캐시하므로(cache=True) 같은 호출을 반복하면 비용이 들지 않습니다. 연결을 확인하는 동안에는 cache=False로 설정하세요. 그렇지 않으면 캐시된 답을 보고 있을 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기